Хельме-Тырваская апостольская православная церковь рождения Христа была построена на улице Валга в 1903-194 гг. Строительным мастером являлся Карл Шурин.
Решающим в жизни Валга как небольшого городка стал год 1886, когда был утвержден план строительства железной дороги Псков-Рига с веткой из Валги в Тарту.