Wysoka Górka to wczesnośredniowieczne grodzisko, którego sztucznie usypane wzniesienie ma 7-15 m wysokości względnej i zajmuje pow. majdanu ok. 60 x 40 m. W tym miejscu istniał, pochodzący z ok. X w., gród, który wchodził w skład systemu obronnego, utworzonego przez związek plemienny Lędzian sandomierskich.
Tu właśnie, na Wysokiej Górce, znajdowała się kolebka Chełma, z tym miejscem wiążą się jego najstarsze dzieje, które są ściśle zrośnięte z historią państwa polskiego. Chełm jest jedną z najstarszych miejscowości polskich, można powiedzieć, że jest rówieśnikiem naszej państwowości.
Pierwotny gród chełmski przetrwał do XII w. Do tego czasu przechodził dwukrotnie we władanie książąt ruskich i ponownie był odzyskiwany. Później, na skutek najazdu, czy też pożaru, uległ całkowitemu zniszczeniu, a jego nasyp porósł lasem. Ten okres letargu trwał przez cały wiek XII i dopiero na pocz. XIII stulecia gród został odbudowany.
To obronne z natury miejsce upatrzył sobie na nową siedzibę książę halicko-włodzimierski Daniel Romanowicz. W l. 1235-40 na nasypie starego lechickiego grodu wzniósł on warowny zamek z murowanym obronnym dworem, cerkwią św. Jana i wysoką wieżą. Przeniósł tu swą stolicę z Halicza i założył biskupstwo wschodnie (1240 r.), likwidując jednocześnie biskupstwo w Uhrusku, która to miejscowość miała być początkowo siedzibą książęcą. W tym samym czasie rozrosło się na zach. stoku pagóra chełmskiego pod grodzie, dając początek współczesnemu miastu. Natomiast u podnóża grodu, po jego stronie pd., powstał ośrodek sakralny, z ufundowaną przez Daniela kamienną katedrą NMP, na miejscu której wznosi się obecnie kościół-bazylika.
Wraz z przejęciem przez Chełm funkcji stołecznej księstwa, zaszła konieczność rozbudowy jego warowni, toteż ok. 1260 r. książę wzniósł obok zamku wysokiego, po jego zach. stronie, zamek dolny, o konstrukcji drewniano-ziemnej. W obręb fortyfikacji zamkowych włączono też ośrodek sakralny, otaczając wałem i palisadą cały szczyt chełmskiej góry.
Zapewne pozostałością po zamku dolnym jest ocembrowana, głęboka studnia znajdująca się na terenie dawnych ogrodów klasztornych.
W 1638 r. miasto i zamek spłonęły. Przy jego późniejszej odbudowie podniesiono z ruiny tylko zamek dolny, rezygnując całkowicie z zamku górnego. Pozostała na jego nasypie Wieża Kazimierzowska dotrwała w ruinie do końca XVII w. Zamek dolny tworzył w tym czasie wspólny system obronny z fortyfikacjami miejskimi. Jedyną ich pozostałością jest zmodyfikowana w swym wystroju architektonicznym Brama Uściłuska. Napad Kozaków Chmielnickiego w 1648 r. spowodował ponowne zniszczenie Chełma wraz z zamkiem. Po tej klęsce obwarowania zamkowe i mury obronne miasta nie zostały już odbudowane. Jedynie na majdanie Góry Zamkowej, w pobliżu dzisiejszych schodów wejściowych, wzniesiono drewniany, podpiwniczony pałac starościński, tradycyjnie nazywany zamkiem.
Nasyp chełmskiego grodziska był pierwotnie znacznie wyższy, jednak w 1876 r. został splantowany. Wówczas urządzono też wejście od pd., w postaci szerokiej pochylni. Na tak przygotowanym placu władze carskie wzniosły kaplicę św. Cyryla i Metodego - pomnik dla uczczenia faktu zlikwidowania unii. Fundatorem tej "czasowni" był rosyjski kupiec z Kaługi, który na cele związane z rusyfikacją ziemi chełmskiej i utrwaleniem na niej prawosławia ofiarował ogromną na owe czasy sumę 100 000 rubli. Nie było jednak sądzone pysznić się długo temu pomnikowi carskiego ucisku - po odzyskaniu niepodległości Polski, w 1921 r. został on rozebrany do fundamentów. Pozostały po kaplicy cokół w 1928 r. młodzież szkolna przykryła ziemią, sypiąc na tym miejscu kopiec X-lecia Odzyskania Niepodległości. Często odbywały się tu zbiórki harcerskie i imprezy szkolne.
Ówczesna młodzież szkolna w pełni doceniała historyczne znaczenie Wysokiej Górki, czego nie można powiedzieć o ojcach miasta, którzy w 1937 r. zamierzali urządzić na grodzisku zbiornik wodny. Podobny zamach na ten zabytek miał też miejsce w 1956 r. i tylko dzięki interwencji zasłużonego chełmskiego regionalisty Stanisława Skibińskiego nie doszło do dewastacji tak cennej pamiątki historycznej, świadectwa prawiecznego, polskiego prawa do tych ziem.
W l. 1964-66 na Wysokiej Górce prowadzone były badania archeologiczne, które ujawniły znajdujące się pod gruntem resztki drewniano-kamiennego wału o konstrukcji skrzyniowej, a także ulokowane na jego obrzeżu 5 rzędów częstokołu z potężnych pni dębowych. Ustalono, że są to pozostałości prapolskiego grodu z X w. Jednocześnie badania wykazały, że wjazd do niego prowadził od strony pn., a więc przeciwnej do obecnego. Nadto w młodszych warstwach kulturowych, na fortyfikacjach starego grodu, odsłonięto fundamenty zamku księcia Daniela (22-38 m) oraz resztki innych budowli, fundowanych przez niego, a także, w środku grodziska, fundament Wieży Kazimierzowskiej ( 12 x 12 m). Tak więc wyniki badań potwierdziły w pełni przekazy kronikarskie.
W 1983 r. Wysoka Górka uznana została za pomnik przyrody, z uwagi na swe walory widokowe. Obiekt ten jest faktycznie pomnikiem historycznym, wpisanym do rejestru zabytków.
7 września 1998 r. ksiądz arcybiskup Józef Życiński poświęcił Krzyż Jubileuszowy na Kopcu Niepodległości.