В Рыльске была и старообрядческая церковь, построенная в 1737 году, называлась она Покровской, затем Благословенной. В 1910 году рядом с ней была возведена колокольня - всё, что осталось от Покровской церкви до наших дней.
Дом фон-Филимонова в Рыльске - великолепное здание по типу столичных дворянских особняков, построенное купцом-миллионером фон-Филимоновым. Архитектор - Карл Фридрихович Шольц. В настоящее время в доме Филимоновых находится Детская школа искусств.