Православный Храм во имя Преподобного Сергия Радонежского в посёлке Векшняй был построен в 1875 году. Из государственной казны приходу было выделено 13 тысяч рублей на возведение церкви, работами руководил священник Василий Крюковский. Храм был построен в форме креста, с одним луковичным куполом, покрытым листами из белой жести. Купол и главный вход были увенчаны позолоченными крестами. Колокольня построена с западной стороны храма, имеет 4 колокола. Большая часть церковного инвентаря и денежные суммы на обустройство интерьера жертвовалась прихожанами: подсвечники, серебряные и позолоченные кресты, чаши, литургические ткани, занавес и другие предметы. В конце XIX века церковь посещали более 1000 верующих. Во время Первой мировой войны большая часть русскоязычного населения уехала в Россию, приход существенно сократился. Только в 1920-1923 годах жители стали возвращаться в Литву. Во время Второй мировой войны церковь была сильно повреждена, поэтому богослужения совершались в частном доме. В 1947 году храм был вновь отстроен и торжественно освящён.