Парк находится в первобытной ложбине и получил свое имя от развалин бывшего орденского замка. Тогда как в 19 веке на другой стороне процветал город, появилась необходимость в месте для отдыха.
На площади, названной в честь эстонского военнослужащего и политика Йохана Лайдонера, в средние века располагался рынок, и это была главная площадь города.