U podnóża wzniesienia, przy wjeździe na Górę Zamkową od strony ul. Hrubieszowskiej stoi nieduży budynek ORGANISTÓWKI, pochodzący z przeł. XIX i XX w
Utrzymany w stylu klasycystycznym, ze skromnym wystrojem architektonicznym, przykryty jest czterospadowym dachem. W czasie okupacji znajdował się w nim zaimprowizowany szpitalik miejski. Obecnie znajduje się tam siedziba Chełmska Delegatura Wojewódzkiego Konserwatora Zabytków.
Cały zespół katedralny otoczony jest kamiennym murem z ceglanymi przęsłami, gzymsowanymi filarami. Za murem od pn. rozciąga się, dziś zdewastowany, dawny cmentarz prawosławny, założony w 1867 r., na którym grzebano przede wszystkim miejscową rosyjską elitę urzędniczą.