Der seit dem 13. Jahrhundert nachweisbare Hof, der ursprünglich zu zwei Dritteln in Fuldischem Besitz, dann im Besitz der Falkensteiner war, und 1266 vom Kloster Arnsburg käuflich erworben wurde, liegt im Süden des Dorfes.

Der Bezirk des Pfaffenhofes, der bis zur Säkularisation 1803 als Klosterhof betrieben wurde, umfasste früher auch das Gebiet östlich der Butzbacher Straße bis zur Wiesenstraße, wie Mauerreste am Burgweg erkennen lassen. Sein heutiger Gebäudebestand konzentriert sich auf den nordwestlichen, am Gambacher Weg gelegenen und von der Butzbacher Straße östlich begrenzten Teilbereich. Hier liegen traufseitig zum Gambacher Weg ausgerichtet, das 1698 errichtete Herrenhaus sowie ein langgestrecktes, zweigeschossiges, in Bruchstein errichtetes, Wirtschaftsgebäude mit Halbwalmdach von 1717.

Das Herrenhaus ist ein dreizoniger, zweigeschossiger Fachwerkbau mit massivem Untergeschoss zum Gambacher Weg. Sein Fachwerk, das nach der Freilegung 1967 wohl unter Beibehaltung der ursprünglichen Holzführung mit Holzbohlen aufgefüttert wurde, ist aus Ständern, Streben, Kopf- und Brustriegeln aufgebaut. Wichtige, vom rheinischen Fachwerk hergeleitete Details zeigen die Auszierformen von Brüstungsfeldern und Gefachen: Andreaskreuze mit geschweifter Führung der Kreuzarme, von Kreisformen durchzogene Andreaskreuze und nasenbesetzte geschwungene Streben. Hauptcharakteristikum des Gebäudes ist der repräsentative Treppenvorbau zum Hof, der von einem gesondert verdachten Erkerhäuschen überfangen wird. Dieses ruht auf zwei in Würfelkapitellen endenden Säulen, der Tragbalken ist zur Winkelsicherung an den Enden mit Konsolen versehen. Besonders aufwändig sind die Türpfosten und der Türsturz gestaltet. Eine von Blattornamentik gerahmte Kartusche trägt die Inschrift: RM DN D ROBERT KOLB DE MOGVNT ABB ARNS XLVII 1698 (Der hochwürdigste Herr D Robert Kolb aus Mainz 47. Abt in Arnsburg). Als seltenes Beispiel eines Herrenhauses mit Treppenvorbau und wegen seiner reichen Auszier ist das Herrenhaus von besonderer baukünstlerischer Bedeutung. Zusammen mit den Wirtschaftsgebäuden und den Mauerfragmenten vor dem Gebäude sowie in der Steinstraße ist es aus geschichtlichen, künstlerischen und städtebaulichen Gründen Kulturdenkmal.