Die 1393 erstmals erwähnte Hofburg wurde von der Familie von Rüsser, einer Seitenlinie der Herren von Buseck, erbaut. An ihrer Stelle errichtete nach dem Aussterben der Rüsser die Familie von Brand 1817/18 einen großen ummauerten Wirtschaftshof, zu dem auch eine Mühle, die Rittmeistermühle, gehörte, die schon bald wieder aufgegeben wurde. Das Herrenhaus dieser Anlage, das vermutlich Teile der alten Burg, auf jeden Fall aber deren Abbruchmaterial enthält, wurde 1838 von der Gemeinde angekauft und als Pfarrhof genutzt. Der voluminöse, auf symmetrischem Grundriss errichtete klassizistische Bau ist zweigeschossig und hat ein hohes Mansarddach. Auch der in der Mitte des Gebäudes angefügte Vorbau mit offener, ebenerdiger Halle und das Treppenhaus wahren die Symmetrie. Hauptcharakteristika sind das hohe, massive, aus Bruchsteinen errichtete Sockelgeschoss und das vollständig verschieferte Obergeschoss mit seinen schmucklosen hochrechteckigen, mit Klappläden versehenen Fenstern.

Wegen seiner geschichtlichen und städtebaulichen Bedeutung ist das Gebäude einschließlich des Nebengebäudes und der Hofmauern Kulturdenkmal.