Errichtet 1481 als Amtshaus der von Reifenberg, ein im Spätmittelalter bestimmendes Adelsgeschlecht Kirbergs. Bereits im 16. Jahrhundert ging der Hof in den Besitz der vom Stein über, die ihn bis 1895 als Witwensitz außerhalb ihres Stammschlosses in Nassau innehatten. Karl Freiherr vom und zum Stein (17571831) besuchte Kirberg seit 1786 und überwachte die Verwaltung des umfangreichen Gutes. Für den Reformer und preußischen Staatsminister war die Begegnung mit den noch mittelalterlichen Agrarverhältnissen von Bedeutung. Die Mutter Steins ließ 1746 das Hauptgebäude umbauen und mit barocker Wohnlichkeit ausstatten.

Das freistehende Herrenhaus ist ein repräsentativer Stockwerkbau der Spätgotik. Über dem tonnengewölbten, von Arkaden und Rundpfeilern gestützten Weinkeller ein hohes, in zwei Ebenen teilbares Erdgeschoss und das eigentliche Wohngeschoss. Der vom Keller vorbereitete Grundriss ist durchgängig und zeigt eine Quererschließung durch die mittlere, ursprünglich gesamthohe Halle mit der später eingefügten Treppe. Von den 1746 abgebrochenen Erkertürmchen (Hängetourellen) sind die Ecktürme rekonstruiert. Zwei weitere befanden sich vermutlich an den Langseiten, - über dem Haupteingang und als rückwärtiger Treppenturm.

Der Fachwerkaufbau hat im Erdgeschoss mächtige, überblattete Bogenstreben, in den oberen Zonen horizontal durchlaufende, durch die Auffensterung unterbrochene Bänder aus Kreuzgefachen.

Als Kulturdenkmal nach § 2 Absatz 1 Hessisches Denkmalschutzgesetz aus geschichtlichen, künstlerischen und städtebaulichen Gründen in das Denkmalverzeichnis des Landes Hessen eingetragen.