Benannt nach Philipp III. von Nassau-Weilburg-Saarbrücken, der 1540 erstmals im Lande eine „freie", das heißt von Stiften und Klöstern unabhängige Lateinschule gründete. 1764 erfolgte die Erhebung zum Gymnasium und 1780 der Umzug aus der Schulgasse in das neu errichtete, repräsentative Gebäude. Hier bestand es bis 1964.

Den Entwurf lieferte 1776 Friedrich L. Gunkel. Joh. Ludwig Leidner nahm Änderungen vor, hauptsächlich den Aufbau des steil anlaufenden Mansardwalmdaches mit seinen gut geformten Gaupen.

Der zweigeschossige, palasthafte Bau steht über verzogenem Grundriss zwischen zwei Gassen. Die Hauptfassade zählt 13, in den Dachgaupen fortgesetzte Achsen. Die äußeren drei entfallen auf die von breiten Quaderlisenen gefassten Eingangsrisalite, welche in aufwendiger Portal- und Fenstergestaltung den Hauptschmuck auf sich vereinen.

Die großformatige Fensterung geht einher mit einer zierlich-feinen Gliederung und einem flachen Gesamtrelief. Erhalten sind die Schnitztüren sowie die Fenster des 19. Jhs. Das Innere soll weitgehend dem alten Zustand entsprechen. Belegt ist ein erster Anstrich mit ockergelber Farbe. Im Bereich Nassaus zählt das Gymnasium zu den künstlerisch qualitätvollsten Bauten des Louis-Seize-Stiles.

Als Kulturdenkmal nach § 2 Absatz 1 Hessisches Denkmalschutzgesetz aus geschichtlichen, künstlerischen und städtebaulichen Gründen in das Denkmalverzeichnis des Landes Hessen eingetragen.