История музея неразрывно связана с именем выдающегося революционера и политического деятеля В.И. Ленина, который жил в Шушенском в ссылке с 8 мая 1897 г. по 29 января 1900 г.
Павильон Трех граций построен в 1800 году по проекту Ч. Камерона на террасе Собственного садика Павловского парка. Павильон представляет собой 16-ти колонный портик ионического ордера. В его центре стоит скульптура Три грации работы Паоло Трискорни.
Кавалерский зал создавался в 1797-1799 годах по проекту архитектора В. Бренны. Этот парадный зал предназначался для торжественных приемов. В 1872 году владельцем Павловска Великим князем Константином Николаевичем зал был превращен в Античную галерею.