Auf einem Bergsporn links der Usa gelegen; 1388 wurde eine Burg Ziegenberg erstmals urkundlich erwähnt. In der Mörler Mark, zu der Langenhain und Ziegenberg gehörten, übten ab 1356 die Falkensteiner die Grundherrschaft aus. Vielleicht in der Nachfolge eines bereits älteren Wehrbaus errichteten die Falkensteiner die Burg als Grenzfestung, von der ein hoher runder Bergfried erhalten ist.
Nach dem Aussterben der Falkensteiner 1417 fiel die Herrschaft in der Mörler Mark an die Eppsteiner der Münzenbergischen Linie, die Langenhain und Ziegenberg 1478 an Philipp von Katzenelnbogen veräußerten. Von ihm erbten das Gebiet mit Burg Ziegenberg 1479 die hessischen Landgrafen, die damit zunächst die Familie von Traxdorf belehnten und es dann an die Freiherren von Diede zum Fürstenstein verkauften. Eitel von Diede, von 1745-48 Burggraf in Friedberg, baute die Burg Ziegenberg 1747 zum Barockschloß um. An der Gestaltung des umgebenden Schloßparks unter Wilhelm Christoph von Diede (1732-1807) war der mit ihm befreundete Johann Wolfgang von Goethe beteiligt (vgl. auch das Denkmal des "Dreifach gefesselten Glücks").
1809 starben die Diede von Fürstenstein im Mannesstamm aus, ihren Ziegenberger Besitz erbte die Freiherrenfamilie von Löw und dann die verwandte Familie von Rantzau. Die Landeshoheit war durch die Mediatisierung der kleineren Standesherrschaften 1806 an das Großherzogtum Hessen-Darmstadt gefallen.
Ein weiterer Verkauf von Schloß Ziegenberg erfolgte 1896, dieses Mal an die Frankfurter Familie Passavant. 1937/38 schließlich der Einzug durch die Wehrmacht, die das Schloß in die ab 1939 verwirklichten Planungen zu ihrem Hauptquartier "Adlerhorst" einbezog. Im März 1945 wurde Schloß Ziegenberg durch einen amerikanischen Jagdbomberangriff zerstört.
Die Ruine wurde ab den 1960er Jahren gesichert und wieder bewohnbar gemacht, Anfang der 1990er Jahre wurde der Ausbau zu einer Eigentumswohnanlage vorgenommen. In Kontinuität des alten Schloßstandortes ist sie zusammen mit dem Bergfried der älteren Burg sowie einer Brücke über den Burgshalsgraben, die vermutlich Teil der von Goethe beeinflußten Schloßparkgestaltung ist, ein Kulturdenkmal aufgrund territorial- und ortsgeschichtlicher Bedeutung.
Als Kulturdenkmal nach § 2 Absatz 1 Hessisches Denkmalschutzgesetz aus geschichtlichen Gründen in das Denkmalverzeichnis des Landes Hessen eingetragen.
