Die 1388 urkundlich erstmals erwähnte Burg Ziegenberg liegt auf einem Bergsporn links der Usa. In der Mörler Mark, zu der Langenhain und Ziegenberg gehörten, übten ab 1356 die Falkensteiner die Grundherrschaft aus. Vielleicht in der Nachfolge eines bereits älteren Wehrbaus errichteten die Falkensteiner die Burg als Grenzfestung, von der ein hoher runder Bergfried erhalten ist.
Nach dem Aussterben der Falkensteiner 1417 fiel die Herrschaft in der Mörler Mark an die Eppsteiner der Münzenbergischen Linie, die Langenhain und Ziegenberg 1478 an Philipp von Katzenelnbogen veräußerten. Von ihm erbten das Gebiet mit Burg Ziegenberg 1479 die hessischen Landgrafen, die damit zunächst die Familie von Traxdorf belehnten und es dann an die Freiherren von Diede zum Fürstenstein verkauften. Eitel von Diede, von 1745-48 Burggraf in Friedberg, baute die Burg Ziegenberg 1747 zum Barockschloss um. An der Gestaltung des umgebenden Schlossparks unter Wilhelm Christoph von Diede (1732-1807) war der mit ihm befreundete Johann Wolfgang von Goethe beteiligt (vgl. auch das Denkmal des "Dreifach gefesselten Glücks").
1809 starben die Diede von Fürstenstein im Mannesstamm aus, ihren Ziegenberger Besitz erbte die Freiherrenfamilie von Löw und dann die verwandte Familie von Rantzau. Die Landeshoheit war durch die Mediatisierung der kleineren Standesherrschaften 1806 an das Großherzogtum Hessen-Darmstadt gefallen. Ein weiterer Verkauf von Schloss Ziegenberg erfolgte 1896, dieses Mal an die Frankfurter Familie Passavant.
1937/38 übernahm die Wehrmacht das Schloss. Ab 1939 wurde es zentraler Bestandteil des nach Plänen von Albert Speer ausgebauten Führerhauptquartiers Adlerhorst. In der folgenden Zeit waren hier verschiedene Wehrmachtsstäbe, zeitweise aber auch ein Genesungsheim für Soldaten untergebracht. Wesentlicher Teil dieses Ausbaus war die Errichtung einer Bunkerreihe vom Schloss nach Norden. Dabei erhielt Bunker 1 direkten Zugang aus den Kellerräumen des Schlosses. Im März 1945 wurde Schloss Ziegenberg durch einen amerikanischen Jagdbomberangriff zerstört und Bunker 1 anschließend gezielt gesprengt. Dennoch blieb er teilweise erhalten.
Die Ruine des Schlosses wurde ab den 1960er Jahren gesichert und wieder bewohnbar gemacht, Anfang der 1990er Jahre erfolgte der Ausbau zu einer Eigentumswohnanlage.
In Kontinuität des historischen Schlossstandortes auf dem Bergsporn ist Schloss Ziegenberg zusammen mit dem Bergfried der älteren Burg sowie einer Brücke über den Halsgraben, die vermutlich Teil der von Goethe beeinflussten Schlossparkgestaltung ist, raumprägendes Kulturdenkmal. Aufgrund ihrer Rolle im Zuge des kriegsvorbereitenden Ausbaus der Infrastruktur kommt ihr auch große orts- und militärgeschichtliche Bedeutung zu.
Als Kulturdenkmal nach § 2 Absatz 1 Hessisches Denkmalschutzgesetz aus geschichtlichen Gründen in das Denkmalverzeichnis des Landes Hessen eingetragen.
