Легенда гласит, что храм Фудзиояма Каннондзи был основан в 735 году, когда император Сёму приказал буддийскому монаху увековечить одиннадцатиликого бодхисаттву Каннон, чтобы молиться за безопасное строительство статуи Великого Будды.
Это место рождения Нагатани Соуэна (реконструированного в 1960 году), который заложил основы приготовления японского чайного листа, разработав и популяризировав «Метод Аосей Сенча» в 1738 году.