Auf dem die Landschaft des Ohmtals prägenden, fast 610 m hohen Schlossberg hat seit dem hohen Mittelalter und bis in das 19. Jahrhundert hinein eine zunächst breubergische, ab dem späten 13. Jahrhundert hessische Burg gestanden. Sie diente der Kontrolle und Verwaltung des Landes, seltener auch der Verteidigung, und sie war einige Jahre Residenz der kleinen Grafschaft Diez-Ulrichstein.

Begonnen wurde mit dem Bau der Burg wohl um einen bereits bestehenden kleinen Wartturm herum ab 1340 durch die Herren von Eisenbach in ihrer Eigenschaft als hessische Lehnsmänner. Die Burg entwickelte sich zu einer etwa rechteckigen Anlage, die durch ein Tor in der im Südosten gelegenen Schmalseite zugänglich und sonst hufeisenförmig von Gebäuden umstanden war. Ein Ost- und ein Westbau wurden durch hessische Amtmänner 1484 und 1494 erbaut.

Bereits um 1370 bestand eine Liebfrauenkapelle südlich vor der Burg, die mit anderen Bauten wie Marstall und Alter Kanzlei (beide erwähnt 1613) durch Graf Christoph von Diez zwischen 1567 und 1570 in eine ausgedehnte zweite Ringmauer einbezogen wurde. Die Kapelle ließ Graf Christoph abbrechen.

Als die Diezische Herrschaft aufgehoben war, geriet die Burg in Verwahrlosung. Schon 1577 wird von schadhaften Dächern und Anfang des 17. Jahrhunderts von eingefallenen Mauern berichtet, 1628 gar von der Gefahr des Verfalls der ganzen Burg. Sie scheint abgewendet worden zu sein, denn während des Siebenjährigen Kriegs konnte die Burg 1759 im April von Franzosen gegen Hessen und im August von Hessen gegen Franzosen - wenn auch jeweils ohne Erfolg - verteidigt werden. 1762 kam es noch einmal zum Beschuss und zur Eroberung durch Franzosen.

Mit der Aufhebung des Amts Ulrichstein 1821 verlor die Burg ihre letzte Aufgabe als Verwaltungssitz. Sie wurde daher 1826 an den früheren Zehntverwalter auf Abbruch verkauft, 1834/35 als Steinbruch genutzt und so fast ganz beseitigt.

1853 schließlich kaufte der Staat den Schlossberg zurück; der Historische Verein für das Großherzogtum Hessen initiierte ab 1890 Aufmaß und Restaurierungen, 1901/02 auch Ausgrabungen.

In diesem Zusammenhang gründete sich 1890 der Schlossbergbauverein. Er ging dann 1913 im Vogelsberger Höhen-Club VHC auf, der schon 1885 ein "Aussichtstempelchen" auf dem Schlossberg errichtet hatte. Dem Bauverein sind Sicherungen, die Erneuerung der Ringmauer an der Nordseite und der Bau des Aussichtsturms 1894-1905 zu verdanken. Das Datum seiner Einweihung, der "Sedanstag" (2. September) 1906 rückt den Turm gleichsam in die Nähe der Nationaldenkmäler.

Schmuck des Turms ist ein "Männerkopf in Sturmhaube, eine kunstvolle Bildhauerarbeit ..., gestiftet von Herrn Posthalter Meiski, dem verdienten Förderer der Renovationsarbeiten. [Der Kopf] ist der Groteske nachgearbeitet, die sich am Torbau des Breuberges im Odenwald findet, genannt der ‚Breilecker‛." (A. Roeschen)

1969 wurde im südwestlichen Abschnitt der Vorburg ein zentraler Friedhof für Opfer des Zweiten Weltkriegs aus der Region angelegt.

Die Reste der Burg werden heute durch den Verein zur Erhaltung der Burgruine Schlossberg e.V. betreut.