In der Nordwestecke des ab 1820 als Park angelegten, allseitig von einer Mauer umschlossenen Herrngartens, dessen historisches Wegenetz einschließlich des im Zentrum gelegenen Springbrunnens und des alten Baumbestandes im Rahmen der Gesamtanlage schützenswert ist, steht etwas erhöht in geschickt gewählter Position das reizvolle, 1842 von Georg Moller (Darmstadt) erbaute Gartenhaus, das, da sich in ihm der Dichter Rainer Maria Rilke 1905 aufhielt, auch als Rilke-Gartenhaus bezeichnet wird. Es handelt sich um ein klassizistisches, eingeschossiges Gebäude mit symmetrischem Grund- und Aufriss. Seinem Mittelteil, der auf der Straßenseite eine halbrunde Apsis besitzt, ist zum Garten hin eine offene Säulenvorhalle vorgelagert. Der Übergang der dahinter liegenden Halle zu den im schrägen Winkel beidseitig angesetzten Flügeln, die Zimmer enthalten, ist mittels korbbogenförmiger Ausnischungen gelöst. Das Gebäude ist Kulturdenkmal aus geschichtlichen, künstlerischen und städtebaulichen Gründen.