Парк находится в первобытной ложбине и получил свое имя от развалин бывшего орденского замка. Тогда как в 19 веке на другой стороне процветал город, появилась необходимость в месте для отдыха.
Музей находится в старом здании аптеки, на двух его этажах размещается экспозиция, которая отображает историю Вильяндимаа вплоть до середины 20-го столетия.