Ursprung des Schlosses ist eine Wasserburg der Grafen zu Katzenelnbogen aus dem 13. Jahrhundert, von der die Grundmauern des Herrenbaus (Palas) und ein Teil des ehemaligen Bergfrieds erhalten sind.

Spätmittelalterliche Erweiterungen entstanden im 15. Jahrhundert, als die Landgrafen von Hessen den katzenelnbogischen Besitz erbten. Nachdem bei der Zerstörung im Schmalkaldischen Krieg 1546 alle Fachwerkteile niedergebrannt waren, wurden Herrenbau und Saalbau massiv wiederaufgebaut.

Georg I., 1567-1596 erster Landgraf, ließ die Burg durch Hofbaumeister Christoph Müller zu einem Schloß ausbauen: die Wallmauern wurden mit Bastionen verstärkt und der Schloßgraben vertieft; der vergrößerte Herrenbau, Kirchen- und Kaisersaalbau um einen Hof gruppiert. Zum Marktplatz hin entstanden Kanzlei, Marstall und Zeughaus. Im 17. Jahrhundert baute Jakob Müller eine neue, dreiflüglige Kanzlei. Im Mai 1715 zerstörte ein Schloßbrand die Kanzlei und große Teile des Altschlosses. Landgraf Ernst Ludwig beauftragte seinen Baumeister Louis Remy de la Fosse mit Plänen für einen einheitlichen, großzügigen Neubau, der den Bedürfnissen eines barocken, absolutistischen Fürsten entsprechen sollte. Der Entwurf sah eine Vierflügelanlage mit Querflügeln und als Mittelpunkt einen Glockenturm vor. Aus Geldmangel wurden nur Süd- und Westflügel realisiert, das später sogenannte Neuschloß, dessen Fertigstellung bis ins 19. Jahrhundert andauerte.

Bei einer gründlichen Sanierung des Schlosses 1922 unter Leitung von Architekt Emil Hofmann wurden die Dachkonstruktionen und die Inneneinrichtung der Bibliothek erneuert. Durch die Trockenlegung des Schloßgrabens 1804 waren Hohlräume unter den Schloßfundamenten entstanden, so daß die alten Holzroste durch Stahlbetonbankette ersetzt werden mußten, um die Standsicherheit des Neuschlosses zu gewährleisten.

1944 wurde das Schloß weitgehend zerstört und seit 1950 wiederaufgebaut mit dem Ziel, möglichst viel zu erhalten und Verlorenes zu ergänzen. Begonnen wurde mit dem Glockenturm und dem Neuschloß; es folgten 1958 Glocken- und Kirchenbau für das Schloßmuseum. Seit 1960 entstand das innere Altschloß neu, das von der Technischen Hochschule übernommen wurde.

Vom Herrenbau erhalten ist nur die Westfront; nach altem Vorbild gestaltet wurde der nördliche Ziergiebel mit Rundbogenfriesen; wiederaufgebaut ist auch die Säulenhalle im Erdgeschoß. Der 1893 hinzugefügte Teepavillon ist mit Eckturm und Runderker ohne die Ausbildung der ursprünglichen, dekorativen Kranzgesimszone restauriert worden.

Am Kaisersaalbau und am Prinz-Christian-Bau (ursprünglich von 1678) wurde die Zahl der Fensterachsen um eine vermehrt. Kaisersaalbau und Kirchenbau wurden mit den Renaissance-Giebeln wiederhergestellt, die Jakob Kesselhuth und Jakob Wustmann 1595 entworfen hatten. Die Portale waren erhalten oder ausgelagert und wiedereingebaut worden: Das 1595 errichtete Portal auf der Nordseite des Kaisersaalbaus zeigt eine Verbindung von diamantierten Quadern und Beschlagwerk. Aus dem gleichen Jahr der sogenannte Silberbogen auf der Südseite des Gebäudes, wahrscheinlich ursprünglich von Nikolaus Bergner angefertigt; er wurde wohl aus Bestandteilen zweier Portale zusammengesetzt: den beiden vorstehenden Rundsäulen mit Reliefs im Sockelbereich; dahinter der Rundbogen mit diamantiertem Sockel und Schlußstein, in den Feldern reich ornamentiert. Die Portale der Durchfahrt unter dem Prinz-Christian-Bau wurden 1671 und 1672 von Steinmetz Andreas Buberle aus Laudenbach am Main geliefert; auffallend hier die skulptierten Sockelsteine und der Schlußstein. Das Portal des Kirchenbaus entwarf Louis Remy de la Fosse 1709. Die Gewände weisen zu den Durchgangsportalen nach Norden und Süden und zum gegenüberliegenden Eingang.

Der Verbindungsbau von Kirchen- und Herrenbau, der sogenannte Paukergang, war mit seinem Durchgangsportal und den beiden Geschossen hinter ursprünglich offenen Arkaden mit Zwillingsbögen erhalten; wiederhergerichtet ohne das vor dem Krieg vorhandene Dachgeschoß.

Der Glockenbau, ursprünglich 1664 von Johann Wilhelm Pfannmüller, wurde als symmetrischer Baukörper mit der ursprünglichen Fensteranordnung und unter Verwendung der Werkstücke des Portals mit den beiden seitlichen kleinen Eingängen bis 1959 wiederaufgebaut. Die Dachhaube des mittig vorgesetzten Turms wurde schon 1951 originalgetreu restauriert, um das beliebte Glockenspiel wiedereinsetzen zu können. Die beiden Schweifgiebel sind dem barocken Vorbild mit Gurten und Pilastern über großen Voluten nachgebildet.

Das Brückenhaus schuf 1627 Oberbaumeister Jakob Müller. Nach dem Krieg erhalten blieben die Außenmauern, einer der beiden wappentragenden Löwen und Teile der Masken auf den Konsolen der Durchfahrt; die fehlenden Skulpturen, auch die beiden Obelisken, und das geschweifte Walmdach wurden wieder ergänzt.

Ebenso zerstört und originalgetreu wiederaufgebaut ist das Wallhaus auf der Nordostseite des Schloßbereichs mit dem Zeltdach.

Das Neuschloß, ab 1715 von Louis Remy de la Fosse entworfen, ist wegen seiner Monumentalwirkung für das Stadtbild von besonderer Bedeutung. De la Fosse diente hier das Flügel-Pavillon-System aus der französischen Schloßbaukunst als Vorbild: Mit vierseitigen Kuppeldächern gedeckte, dreieinhalbgeschossige, dreiachsige Eckpavillons und der reich ausgestaltete MittelpavilIon zum Marktplatz hin wechseln mit siebenachsigen Zwischenflügeln. Sie enden über dem dritten Geschoß in einer Balustrade, die das flachgeneigte Walmdach halb verdeckt. Das durchlaufende Kranzgesims faßt die Gebäudeteile zusammen und betont die Horizontale. Der Sockelbereich ist durch ein Mezzanin überhöht und im Bereich der Pavillons genutet. Die Ausbildung von zwei Prinzipalgeschossen ist der römischen Palastbaukunst des 16. und 17. Jahrhunderts entnommen.

Auf der Marktseite sind im Mittelpavillon die beiden Hauptgeschosse über der Durchfahrt im Sockelbereich als "Triumphbogenmotiv" gestaltet in Form von vier kompositen Pilastern, die ein schweres Gebälk mit vier allegorischen Frauenfiguren (Treue, Liebe, Gerechtigkeit, Überfluß) tragen. Die Originale, heute in den Arkaden des Schloßhofs, sind 1922 durch Kopien ersetzt worden. Zwischen den Pilastern im mittleren Intervall eine hohe Fenstertüre in einer rundbogigen Nische, über der das von Löwen gehaltene, landgräfliche Wappen angebracht ist. Uber dem Freigeschoß mit Inschrifttafel eine abschließende Balustrade mit Akroterien.

Als gleiche "Porte cochere en niche" ist auch das Eingangsportal des Westflügels in Verlängerung der Rheinstraßenachse ausgebildet. Hier - wie auf der Nordseite des Schloßbereichs - noch erhalten sind die beiden Wachhäuschen vor den Brücken.

In der Durchfahrt zum Marktplatz hin befinden sich seit 1934 die Standbilder der Landgrafen Georg I. und Philipp des Großmütigen, die Johann Baptist Scholl d. J. 1845 entwarf. Vorher standen sie auf dem Platz zwischen Zeughaus und Hoftheater vor dem Herrngarteneingang.