Im ausgehenden 12. Jh. wurde von den Münzenbergern eine Burg in dem sumpfigen Wiesengelände zwischen dem Ohlenbach im Süden und der Gersprenz im Norden erbaut. Der Gründungsbau besaß ursprünglich einen quadratischen Bergfried und einen Palasbau, dem heutigen Westflügel, sowie Befestigungsanlagen, die – bis heute - eine geschlossene quadratische Anlage bilden. Die offene Säulenhalle im Westflügel ist noch aus dieser Zeit erhalten. Nach dem Aussterben der Münzenberger 1255 gelangte die Burg an die Grafen von Hanau. Nach der Hanauischen Teilung 1458, als Babenhausen zur Residenz der Hanau-Lichtenbergischen Linie wird, beginnt der Ausbau der Burg. Bis zum Aussterben des Hanauer Geschlechts 1736 wird die Burg ständig durch Um- und Anbauten verändert, umgeben mit Befestigungsanlagen und Wassergräben.

1771 gerät sie in den Besitz der Landgrafen von Hessen-Kassel, die sie als Sommerresidenz und Witwensitz nutzen. 1818 wird die Burg Militärstrafanstalt, und in der Zeit von 1869 bis 1891 beherbergt sie als Kaserne ein Regiment der Roten Dragoner. Zu Beginn des 20. Jhs. wurde eine umfangreiche Sanierung und Umnutzung ausgeführt, im Ostflügel wurden drei Säle für den Rechnungshof eingerichtet, darüber hinaus wurden großzügige Wohnungen für Landesbedienstete eingebaut. Nach 1945 übernahm die Innere Mission die gesamte Anlage. Heute befindet sie sich in Privatbesitz.

Wegen der vielen vorgenommenen Veränderungen ist es ohne eine detaillierte Bauforschung unmöglich, am heutigen Grundriss die Funktionen der einzelnen Flügel und deren Räume deutlich zu machen. Als Reste der staufischen Burg erkennt man im Erdgeschossgrundriss noch deutlich die romanische Säulenhalle im Westflügel. Pläne aus dem Jahre 1789 zeigen die Nutzung der Räume zur Zeit, als die Landgrafen von Hessen-Kassel das Schloss benutzten. Danach wurde das EG für die Küche, Lagerräume, Kelterhaus und als Kaserne für die Wachsoldaten und die Schlossaufsicht genutzt. Die herrschaftlichen Räume mit großem Saal im Südflügel, Wohn- und Schlafräumen im West- und Nordflügel, Audienz- und Speiseräumen im Ost- und Nordflügel lagen im 1. OG. Gästezimmer befanden sich im 2. OG.

Der Nordflügel ist geteilt in zwei Baukörper, einen schmalen, viergeschossigen Torbau mit zwei Fachwerkobergeschossen, der die einzige mit einer Flachtonne geschlossene Zufahrt in den Hof hat (das 3. OG des Nordflügels der geschlossenen quadratischen Burganlage ist wohl der jüngste Teil des Schlosses aus dem 17. Jh.) und einen dreigeschossigen breiteren Bauteil mit vorgelagertem, achteckigem Treppenturm mit spitzem Helm (Dachwerk datiert 1369/70). Im EG schöner Renaissanceerker.

Der Ostflügel ist ebenfalls in zwei Abschnitte, einen dreigeschossigen Teil mit Fachwerkobergeschoss auf zwei massiven Untergeschossen und einen viergeschossigen massiven Bau, geteilt. Ein runder Treppenturm mit geschweifter Haube, halb aus der Front herausragend, liegt an der Trennlinie der beiden Baukörper. Fachwerk und Treppenturm datiert auf 1460. Im südlichen Bereich des EG des Massivbaus befindet sich die ehemalige, mit gratigen Kreuzgewölben überspannte ehemalige Küche des Renaissance-Bauteils.

Der Südflügel ist ein reiner Massivbau und stellt mit zwei kurzen seitlichen Flügelansätzen die Verbindung zu den übrigen Bauteilen her. Er ist wahrscheinlich in der Zeit zwischen 1570 und 1578 von Meister Jörg erbaut worden. Der Bau ist durch Gurtgesimse horizontal gegliedert und hat als besonderen Schmuck in den Seitenflügeln zum Hof sowie auf der Gartenseite nach Osten und mittig nach Süden zweifenstrige Zwerchhäuser mit kreuzförmig gegliederten geschweiften Giebeln. In der Mitte des Baukörpers steht, auf fünf Seiten eines Achtecks vorspringend, der Treppenturm mit geschweifter Haube und großer Laterne. Sein Portal ist von toskanischen Säulen flankiert und trägt einen rechteckigen Giebelaufsatz, im Feld sind die Wappen der Hanau-Lichtenberger und der Fürstenberger zu sehen. Große, über Eck angeordnete Zwerchhäuser auf der Südwest- und Südostseite sind im 19. Jh. zusammen mit einem dreigeschossigen Süderker des Ostflügels und der ersten Zwingermauer sowie den Ecktürmen abgebrochen worden.

In einer ovalen, rundbogig geschlossenen Nische befindet sich im Innenhof über einem Becken eine Tiergruppe aus der 1. Hälfte des 18. Jhs.: ein Hirsch wird in naturalistischer Darstellung gezeigt, wie er von zwei Hunden zu Boden gerissen wird. Hier endete die 1712 begonnene Wasserleitung von Schlierbach.

Der Westflügel ist ebenfalls durch einen Treppenturm in zwei Bereiche gegliedert. Im südlichen Teil befindet sich im EG eine offene Halle, die sich in vier Arkaden nach dem Hof öffnet. Die Säulen, über denen sich Rundbögen spannen, zeigen qualitätvolle Steinmetzarbeit ähnlich wie die der Säulen in der Vorhalle der Stiftskirche in Aschaffenburg und der an den Gelnhäuser Bauten. Sie werden um 1210 datiert (bauzeitlich, also Ende 12. Jh). Die Kämpfer bestehen aus Platten und Karnies, die Kapitelle haben eine Kelchblockform aus starrem Akanthus mit Diamantschnüren und Eckblättern, die von Säule zu Säule verschieden ausgebildet sind; weich, lappig oder sich nach innen und unten entfaltend. Die Basen sind attisch mit ausladendem unteren Wulst ausgebildet und mit Eckblättern bzw. Sporen versehen. Die drei Säulen der Vierer-Arkade sind Repliken von 1904/05. Die originalen Kapitelle liegen im Lapidarium der Stiftskirche Seligenstadt. Nördlich des Treppenturms wurde in den 1980er Jahren eine lange vermauerte Doppelarkade geöffnet mit originalem Kelchblatt-Kapitell, auf dessen Platte sich vier kleine Löwen befinden. Auch die Basis mit vier Eckblättern ist original, nur wurde sie durch Kürzung des Säulenschafts auf das durch eine nachträgliche Unterkellerung erhöhte Niveau der Säulenhalle angehoben.

Der Westflügel ist über drei Geschosse bauzeitlich erhalten. Er zeichnet sich durch die in unserer Region sehr außergewöhnliche Verwendung von Backsteinen aus. Nur sehr sparsam kommt an den Öffnungen sowie Zierelementen Sandstein zum Einsatz. Auch der vorgestellte Treppenturm ist in dieser Weise errichtet. Die Datierung der Decke über der Säulenhalle ergab eine Bauzeit 1188/89. Das Dachwerk über der Nordhälfte des Flügels konnte auf 1392 datiert werden. Es zeigt nach Norden einen Stufengiebel mit sekundär aufgesetzter Ladeluke.

Der nördliche Teil des Westflügels ist durch eine Vorhalle um die Stärke des Treppenturms verbreitert und hat im 2. OG eine schöne Fachwerkfassade des 16. Jhs.; darüber einen doppelten Zwerchgiebel.

Der Pfortenbau, ein dreigeschossiger massiver Bau mit Mansarddach auf längsrechteckigem Grundriss, ist in die Umfassungsmauer eingebunden. Im EG ist die tonnengewölbte Durchfahrt, und zur Gartenseite (Südseite) wird er durch einen runden Treppenturm mit hoher Laterne und einfach geschwungener Haube erschlossen (Datierung über der Tür 1525). In der Durchfahrt befindet sich in einem Wappenstein die Datierung 1595. Nach außen ist über der Einfahrt eine Wappentafel eingesetzt und von Pilastern umrahmt (Hanau-Lichtenberg‘sches Wappen und geviertes Schild mit schrägen Balken).

Bis ins 19. Jh. war das Schloss von einem Erdwall mit doppelten breiten, wassergefüllten Gräben umgeben. Der innere Bereich wurde zu Ende des 15. Jhs. mit einer Mauer begrenzt, die an den vier Ecken durch Geschützbollwerke verstärkt wurde. Diese hatten bis zum Ende des 18. Jhs. noch Kegeldächer. Die im geschlossenen Quadrat errichteten Gebäude wurden nochmals durch eine Ringmauer geschützt, die an den vier Ecken ebenfalls durch hohe, schlanke, runde Ecktürme verstärkt wurde. Diese waren direkt über Brücken aus den Räumen des 1. OG zugänglich und bis ins 19. Jh. erhalten.

Der einzige Zugang zur Stadt war ein gerader, beiderseits von Mauern mit Wehrgang eingefasster Weg; er verband das Schloss zunächst mit dem Pfortenbau und führte weiter zur Stadtmauer. Durch senkrechte Quermauern mit verengten Durchlässen wurde er noch verteidigungsfähiger gemacht. Teile dieser Längsmauern und die vermauerten Zugänge zum Wehrgang sind heute noch erhalten.

Das Schloss mit seinen Befestigungsanlagen und dem Torbau ist einschließlich der umgebenden Grün- und Wasserflächen aus künstlerischen und geschichtlichen Gründen in seiner Gesamtheit ein Kulturdenkmal.