Город Рыльск является родиной "Российского Колумба" - исследователя, мореплавателя, промышленника и купца Григория Ивановича Шелихова. Знаменитому земляку установлен памятник у входа в городской парк имени Горького.
Собор Успения Пресвятой Богородицы расположен в центральной части города, на пересечении улиц К. Маркса и Свердлова. Собор был построен в архитектурных традициях зрелого классицизма на средства купца И. Ф. Филимонова в 1797-1811 годах.
В конце XVIII века купец-миллионер фон Филимонов построил в Рыльске трехэтажный дом с колоннами на высоких пилонах, зубчатым карнизом и фронтоном. Позже дом отдали под духовное училище. Сегодня в этом здании размещается Рыльский аграрный техникум.
Археологические раскопки на горе Иоанна Рыльского свидетельствуют, что поселение на месте города Рыльск существовало задолго до XII века. Именно на этой горе был зарождён современный Рыльск.