Das im Südwesten des historischen Altstadtkerns gelegene Schloss steht an der Stelle einer 1383 urkundlich erwähnten Burg der Herren von Falkenstein. Diese leicht erhöht angelegte, durch zwei tiefe, von der Horloff gespeiste Gräben, eine Schildmauer und einen runden Bergfried befestigte Anlage hatte zwei Funktionen. Sie sicherte einerseits die alte Handelsstraße „durch die kurzen Hessen" und schützte andererseits als ein Teil der einstigen Stadtbefestigung die Hauptangriffseite der Stadt. Schon bald, nachdem die Burg durch das Aussterben der Falkensteiner in den Besitz der Grafen von Solms-Braunfels übergegangen war, wurden die bestehenden Gebäude um 1454/56 durch Graf Bernhard erneuert und wohl als vorgesehener Witwensitz erweitert.

Nach der 1602 erfolgten Aufteilung der Grafschaft unter die Söhne des 1592 gestorbenen Grafen Konrad fiel das Amt Hungen als selbstständige Herrschaft an Graf Otto d. J. von Solms, der hier seine Residenz nahm und ab 1604 die Burganlage schlossartig umbauen ließ, wobei große Teile der alten Gebäude abgebrochen wurden.

Nach dessen Tod 1610 im jülisch-klevischen Erbfolgekrieg kam der Besitz an seinen Bruder Reinhard, der den Umbau zum Schloss fortsetzte. Mit dem Tod seines Enkels, Graf Reinhard Wohlfahrt von Solms, erlosch die Hungener Linie, so dass Hungen an die Hauptlinie Braunfels zurückfiel.

Weitere Veränderungen erfolgten noch nach 1700 unter der Regie des Grafen Wilhelm Moritz von Solms-Braunfels, der restliche Teile der alten Burg, darunter die Schildmauer und den alten Bergfried, beseitigen ließ.

Einen irreversiblen Eingriff in die Gesamtsituation der Schlossanlage bildete der Bau der Bahnstrecke Gießen-Gelnhausen 1869. Ihre Trasse führt dicht an der Südseite des Schlosses vorbei und durchschneidet die Wallanlagen.

Nachdem das Schloss zeitweise als Altersheim gedient hatte, später längere Zeit ungenutzt blieb und zu verwahrlosen drohte, wurde es ab 1975 von einer Eigentümergemeinschaft mit Hilfe der Landesdenkmalpflege denkmalgerecht instandgesetzt.

Das durch Mauern bzw. Gebäude begrenzte unregelmäßige Schlossareal, das durch ein Tor im Norden (Zugang von der Schlossgasse) und durch ein zweites Tor im Nordosten (Zugang vom Liebfrauenberg) erschlossen wird, besteht aus der sogenannten Vorburg mit großem Hof im Norden und der Kernburg im Südwesten.

Die entlang der Großen Saalgasse aufgereihte Gebäudefolge der Vorburg setzt sich aus einem in der Achse der Schlossgasse gelegenen Torbau, dem östlich angebauten so genannten Kanzleibau und einem separaten Fachwerknebengebäude zusammen.

Während das Torgebäude im unteren Teil mit seinen spitzbogigen Toren noch gotische Merkmale aufweist, entstammen seine Volutengiebel sowie das später eingefügte Doppelwappen des Grafen Otto zu Solms und seiner Gemahlin Ursula von Gleichen der 1604 beginnenden Ausbauphase. Auch das sich östlich anschließende Kanzleigebäude, das später als Pfarrhaus und Försterwohnung genutzt wurde, und der westlich angesetzte Trakt gehören in diese Zeit.

Die weiter südlich gelegene Kernburg, das eigentliche Schloss, bildet einen nach Südwesten geöffneten hufeisenförmigen Gebäudekomplex, dessen Innenhof früher durch eine geknickte Schildmauer mit einem mächtigen Rundturm abgeschlossen war.

Die Gebäude dieser dreiflügeligen, nach Nordwesten erweiterten Anlage entstammen im Kern sämtlich dem 15. Jahrhundert, also dem späten Mittelalter.

Der für die Gesamtansicht wichtigste Gebäudeteil ist der nach Nordosten gerichtete Querbau. Sein in der Gebäudemitte liegender Torturm ist mit seinem spitzbogigen Tor und dem Kreuzgewölbe der Torhalle noch deutlich mittelalterlich geprägt.

Die fünfspitzige Bekrönung, die aus einem mittleren achteckigen Helm und vier sechseckigen Eckhelmen gebildet wird, verleiht ihm eine charakteristische Silhouette, die sich im Zusammenspiel mit den im Jahre 1700 ausgeführten barocken Veränderungen zu einer Schaufront, die zum äußeren Hof orientiert ist, zusammenschließt.

Die wichtigsten Elemente dieser symmetrisch aufgebauten Fassade zur Vorburg sind die vier, in Paaren rechts und links vom Turm angeordneten, spitzbogig zusammenlaufenden Fachwerkgiebel und die schmalen, zu beiden Seiten des Tores vorgesetzten, dreigeschossigen Erkervorbauten mit architravierten Fenstern, die in den Obergeschossen durch einen Brückenbau miteinander verbunden sind. Dieses Obergeschoss ist durch ionische Pilaster, durch Festons und durch zwei hier angebrachte Inschrifttafeln, in denen die Erbauer, Graf Wilhelm Moritz von Solms-Braunfels und seine Ehefrau Magdalena Sophia, sowie das Erbauungsdatum 1700 genannt werden, optisch hervorgehoben.

Ein links an das Querhaus angereihter, im Winkel vor dem Frauenzimmerbau errichteter Turm mit dreifach gestaffelter, stark bauchiger Haube, der ebenfalls 1700 entstand, durchbricht ebenso die Symmetrie, wie der in der äußersten Südostecke des Frauenzimmerbaus angesetzte Anbau von 1790. Dieser ist mit einem eigenen Portal mit flacher Archivolte und reich geschmückten seitlichen Fachwerkobergeschossen versehen.

Der dreigeschossige, mit einem hohen Krüppelwalm ausgestattete Südostflügel, der so genannte Frauenzimmerbau, ist im Kern ebenfalls mittelalterlich. Er wurde in den Jahren 1608 bis 1612 grundlegend verändert. Auf diesen Umbau gehen die reich geschmückten Volutengiebel an der Hofseite sowie der Innenausbau mit geometrisch unterteilten Stuckdecken zurück.

Während der im östlichen Hofwinkel stehende quadratische Treppenturm, der eine vierläufige Stiege um einen starken quadratischen Mittelpfeiler enthält, schon 1572 bis 1574 erbaut worden war, entstanden die hofseitigen, zweigeschossigen Arkadengänge erst 1700.

An den zweigeschossigen nordwestlichen Flügel, den so genannten Alten Bau, der an der zum Außenhof gerichteten Giebelseite noch gotische Fensteröffnungen aus der Erbauungszeit aufweist und auch sonst in seinen spätmittelalterlichen Außenmauern am wenigsten verändert erscheint, ist im spitzen Winkel der sogenannte Neue Saalbau angebaut. Von 1608 bis 1612 auf älteren Grundmauern errichtet, schließt sich das zweigeschossige, mit einem hohen, von Gauben besetzten Krüppelwalmdach und durch gekoppelte, schmale Fenster charakterisierte Gebäude nach Nordwesten dem Verlauf der Stadtmauer an.

Zusammen mit dem alten Baumbestand des parkartig gestalteten Vorhofes und dem mit einer separaten Natursteinmauer eingefriedeten Nebengebäude Schlossgasse Nr. 7 ist die geschlossene, durch Stilelemente der Gotik, der Renaissance und des Barock geprägte Schlossanlage aus künstlerischen, geschichtlichen und städtebaulichen Gründen Kulturdenkmal im Sinne einer Sachgesamtheit.