Das bereits im Plan als "Gelber Bau“ bezeichnete verputzte Fachwerkgebäude wurde als Amtshaus 1764 errichtet. Zeitweise hieß es auch "das Hallersche Haus“, da der Hofrat Haller von 1786-1799 dort wohnte. In der Folge diente es verschiedenen Honoratioren Birsteins als Wohnung, u.a. dem evangelischen Pfarrer bis zur Fertigstellung des Pfarrhauses, dem Generalleutnant Marquard und Major v. Bode 1820-28. Das inzwischen stark reparaturbedürftige Gebäude wurde 1833-40 grundlegend saniert und umgebaut. Der Umbau des zum Wohnsitz der Erbprinzen bestimmten Hauses kostete 2565 fl. Prinz Viktor Alexander v. Isenburg-Birstein war der erste fürstliche Bewohner. Im 20. Jahrhundert bewohnten wieder fürstliche Beamte und Angestellte, nach 1950 verschiedene Ärzte den Gelben Bau. 1980 wurde er verkauft.

Großes, zweigeschossiges Wohnhaus auf winkelförmigem Grundriss. Der im 18. Jahrhundert errichtete ältere Teil steht traufständig zur Schlossstraße, der zum Schloss orientierte Flügel dürfte seine spätklassizistische Gliederung mit neun hohen Fensterachsen im Rahmen der Umbauten zwischen 1833 und 1840 erhalten haben. Den zwei mittleren Achsen wurde nach 1900 statt des ehemaligen Eingangs eine zweigeschossige Loggia mit gedrechselten Halbsäulen aus Holz und einem Zwerchhaus vorgesetzt. Im gesamten Haus Kastenfenster mit zweiflügligem Oberlicht und Klappläden, Erschließung zur Schlossstraße über ein neobarocke Tür mit Stichbogen, die zeitgleich mit der Loggia eingebaut wurde. Alle Satteldächer mit Aufschiebling, zum Park hin mit Krüppelwalm.