W miejscu dzisiejszego skweru im. Stefana Żeromskiego stał obiekt, którego budowa odzwierciedlała ówczesny układ sił. Zaborca, czyli carska Rosja dominowała w przestrzeni publicznej, zaznaczając swą obecność w architekturze. W drugiej połowie XIX wieku rozebrano hełmy wież pałacu biskupów krakowskich w Kielcach oraz wewnętrzne portale, które wykorzystano do budowy cerkwi. Zarządzono też rozbiórkę tzw. Bramy Krakowskiej – krytego ganku, stanowiącego łącznik między katedrą a domem biskupa kieleckiego. Na tym tle cerkiew Wniebowstąpienia Pańskiego w Kielcach miała być i była najwyższym budynkiem w przestrzeni miasta.
Cerkiew Wniebowstąpienia Pańskiego w Kielcach jako pomnik ku czci cara Aleksandra II
Budowa cerkwi Wniebowstąpienia Pańskiego w Kielcach trwała w latach 1867–1870 a projektantem był architekt kielecki Franciszek Ksawery Kowalski. Zlecił on zabudowę placu należącego wcześniej do księży kanoników krakowskich, wyburzając drewniane kanonie. Cerkiew poświęcono 21 maja 1870 roku jako miejsce modlitwy dla stacjonującego w Kielcach garnizonu wojskowego, którego liczebność wynosiła dwa tysiące żołnierzy. Za przyczynę rozpoczęcia budowy uważa się też przeniesienie siedziby guberni z Radomia do Kielc 31 grudnia 1866 roku.
W 1885 roku cerkiew została wyniesiona do godności soboru. Posiadała pięć pozłacanych kopuł, wyposażonych w dzwony odlane w Westfalii na zlecenie warszawskiego ludwisarza Aleksandra Zachara. Cerkiew Wniebowstąpienia Pańskiego w Kielcach mogła pomieścić co najmniej 500, a według niektórych źródeł nawet 700 wiernych.
Nie zachowały się żadne zdjęcia z wnętrza tego obiektu, ale wiemy, że cokoły, stopnie schodów, arki i kolumny wykonano z miejscowego piaskowca. W głównym wejściu arkę i kolumny wykonano z polerowanego marmuru. Nad wejściem umieszczono obraz Boga Ojca. 22 ikony w trzypiętrowym ikonostasie napisał Rosjanin Wasiliew.
Sobór został ostrzelany przez Austriaków w czasie I wojny światowej. Prawosławną ludność w większości ewakuowała, wycofująca się armia rosyjska. Po wojnie budynek służył jako kościół garnizonowy, ale „raził wyglądem zbyt wielkorosyjskim”, więc ostatecznie na wniosek kieleckiego magistratu uległ rozbiórce. Prace rozbiórkowe w latach 1932-34 nadzorowało Ministerstwo Robót Publicznych. Do niedawna stała jeszcze tzw. popówka, czyli dom duchownego prawosławnego na rogu ulic Wesołej i Adama Mickiewicza. Kamienica uległa rozbiórce i odbudowie z nowoczesnych materiałów dla potrzeb Prokuratury Okręgowej.
W latach 1937-38 władze sanacyjne dokonały rozbiórki od 120 do nawet 150 cerkwi we wschodniej Polsce
Ostatnie fragmenty po dawnej cerkwi to dzwon, kamienna balustrada prezbiterium i drzwi wejściowe przeniesione do kościoła garnizonowego przy ulicy Chęcińskiej oraz żeliwne ogrodzenie skwerku Żeromskiego od strony ul. Wesołej. Grobem protoprezbitera cerkwi Wniebowstąpienia Pańskiego w Kielcach, Wasilija Gieorgijewicza Teodorowicza jest niewielka kaplica na prawosławnej części cmentarza Starego w Kielcach.
https://sbc.wbp.kielce.pl/Content/35262/PDF/Magazyn%202005%20nr%202391_OCR13.05.pdf
https://mnki.pl/pl/obiekt_tygodnia/2022/pokaz/474,cerkiew_prawoslawna_w_kielcach,2