Церковь Вознесения Господня расположена в южной части центра города, на вершине склона, на углу улиц Луначарского и Ленина. Автором постройки является Каменев Н. Г. - почетный гражданин Рыльска. Церковь построена в псевдовизантийском стиле.
В конце XVIII века купец-миллионер фон Филимонов построил в Рыльске трехэтажный дом с колоннами на высоких пилонах, зубчатым карнизом и фронтоном. Позже дом отдали под духовное училище. Сегодня в этом здании размещается Рыльский аграрный техникум.