В период Нара (710-794) император Тенму однажды охотился на горе Касаги, и когда он достиг опасной кульминации своей погони за оленем, он помолился Будде и избежал вреда. Образ бодхисаттвы Майтрейи, который он вырезал на поверхности большого камня, стал основным изображением поклонения в храме Касаги-дэра. Храм вырос как тренировочная площадка для горных аскетов (известных как «сюгэнша») в конце периода Хэйан (794–1185), но был сожжен во время войны Гэнко (1331–1333). Нынешний главный зал, зал Сёгацу и зал Бисямондо были построены в период Муромати (1336-1573).