Von Philipp dem Großmütigen laut Baurechnungen von 1533 bis 1539 im Anschluss an die zweite Stadtbefestigung von 1530/33 erbaute landgräfliche Residenz. Die gelungenen Proportionen und der ideenreiche von der Renaissance geprägte Gesamtaufbau des stattlichen, längsrechteckigen Fachwerkbaus weisen den leider anonymen Baumeister, von dem möglicherweise auch die noch der gotischen Tradition näher stehenden Rathäuser in Alsfeld und Schotten stammen, als Könner seines Faches aus: Über einem hohen Bruchsteinsockel mit Eckquadern, das 1. Obergeschoss und drei Dachgeschosse in strengem und klarem Fachwerk. Steiles Krüppelwalmdach mit drei Kehlbalkenlagen. Auf der Hauptseite zum Schlosshof polygonaler Treppenturm, gegenüber Mittelerker sowie 4 Eckerker, alle mit Welschen Hauben. Hervorzuheben sind die feinen Steinmetzarbeiten im Bereich des spätgotischen Portals und der Fenstergewände sowie die handwerklich hervorragend gearbeiteten Holzstützen im Inneren. 1609-1611 diente der große durchgängige Saal des Erdgeschosses als provisorisches Auditorium der Universität, nach 1650 als Universitätskanzlei, Universitätsgericht und Karzer. Nachdem das Gebäude 1836-1899 wieder von der Universität genutzt und 1899-1907 einer gründlichen Restaurierung unterzogen wurde, entstand auf Initiative des Mäzens Wilhelm Gail 1910 im Erdgeschoss ein Museum für Völkerkunde, ab 1915 bzw. 1918 beherbergte das Obergeschoss Erinnerungsstücke aus dem 1. Weltkrieg (116er-Zimmer) und die Kunstgalerie des Oberhessischen Kunstvereins. Nach einem Zwischenspiel der SA-Standarte, die das Schloss ab 1933 beschlagnahmt hatte, wird es heute wieder von der Universität genutzt. Das stadtbildprägende Schloss ist Kulturdenkmal aus künstlerischen, geschichtlichen und städtebaulichen Gründen.

Als Kulturdenkmal nach § 2 Absatz 1 Hessisches Denkmalschutzgesetz aus geschichtlichen, künstlerischen und städtebaulichen Gründen in das Denkmalverzeichnis des Landes Hessen eingetragen.