Die in strategisch günstiger Lage oberhalb des alten Gerichts- und Pfarrsitzes Kirchberg errichtete Burg Staufenberg die als Keimzelle der später entstandenen, gleichnamigen Ortschaft zu gelten hat, thront weithin sichtbar auf einem Basaltkegel hoch über der Lahn und der Lumda. Vermutlich schon Anfang des 12. Jahrhunderts von den Grafen von Ziegenhain gegründet, besteht die teils ruinöse, teils wieder aufgebaute Anlage, die bis heute von wehrhaften Mauern umschlossen ist, aus zwei deutlich voneinander abgesetzten Teilbereichen.

Ältester Teil ist die Oberburg auf dem Gipfel der Felskuppe, die, 1607 bereits durch einen Blitzschlag vorgeschädigt, 1647 durch hessen-kasselische Truppen zerstört wurde und seitdem als Ruine überdauert hat. Sie bildet ein nach Südwesten abgerundetes Rechteck, in dessen östlichem Abschnitt die Reste eines dreigeschossigen, gotischen Palas aus dem 13. Jahrhundert erhalten blieben. Wichtige Relikte des 1571 mit vier Ecktürmchen versehenen Palas sind die fast in ganzer Höhe erhaltene West- und Südseite, die Reste eines Kamins in der Westmauer und der sekundär zur Aussichtsplattform ausgebaute nordöstliche Eckturm. Erhalten sind ferner große Teile der Ringmauer, die einst von Rundtürmen gesichert war, die Mauerzüge der beiden Zwinger einschließlich einer Toranlage aus dem 15. Jahrhundert an der Ostseite, die hoch aufragenden Reste eines zweigeschossigen Gebäudes im Südosten sowie einige, teils tonnengewölbte Keller.

Nachdem die alte Gipfelburg den steigenden Ansprüchen der Zeit nicht mehr entsprochen hatte, entstand weiter westlich ab den achtziger Jahren des 15. Jahrhunderts eine neue Wohnburg, die Unterburg, als Burgmannensitz derer von Rolshausen. Sie wurde auf einem wesentlich tiefer gelegenen, aber steil ansteigenden Gelände errichtet, das zunächst durch Stützmauern aufgeteilt werden musste. Hauptgebäude dieser Anlage, die durch ein eigenes Verteidigungssystem gesichert wird, ist das 1507 bis 1517 veränderte, 1860 durch Hugo von Ritgen umfassend restaurierte und heute zum Hotel- und Gaststättenbetrieb ausgebaute Burghaus. Es handelt sich um einen spätmittelalterlichen, jetzt innen stark veränderten Steinbau mit rechteckigem Grundriss. Dreigeschossig auf der Talseite, aber nur zweigeschossig auf der Bergseite, zeigt er auf der Südwestseite einen runden Treppenturm auf quadratischem Unterbau, der ebenso wie die in Höhe der Traufe ansetzenden Ecktürmchen und der runde Eckturm an der Südostecke einen Rundbogenfries mit Zinnenbekrönung aufweist. Bemerkenswerte Details am Eckturm selbst, der neben seiner Wehrfunktion auch die Funktion eines Verließes hatte, sind zwei breite, rechteckige sowie zwei querovale, nach innen abgetreppte Schießscharten. Diese, wie auch die Sandsteinlaibungen der Kreuzfenster, waren im Gegensatz zum markanten Treppengiebel, der erst 1860 entstand, schon vor der historisierenden Umgestaltung vorhanden.

Besonders erwähnenswert sind auch zwei der ehemals drei in verschiedenen Höhenlagen gestaffelten Toranlagen. Während das am tiefsten gelegene, wohl älteste Tor im äußersten Südwestwinkel der Mauer im 19. Jahrhundert durch einen Fachwerkbau, das so genannte „kleine Burghäuschen" überbaut wurde, und nur noch anhand des Unterbaus erschließbar ist, wahren die beiden höher gelegenen, obwohl sie ebenfalls im 19. Jahrhundert überformt wurden, noch viel Originalsubstanz. Beide Tore, die mittels Mauern und integriertem Wehrgang miteinander verbunden sind, zeigen eine ähnliche Gliederung, denn beide haben spitzbogige Tore und breite Zinnen. Im Unterschied zu dem unteren Tor besitzt das höher gelegene Haupttor auf der Bergseite noch eine zusätzliche Pforte. Über ihr ist eine Tafel eingelassen, die außer den Wappen der Holzhausen und Rau auch eine verzierte Inschrift „ANNO DOMINI MILLESIMO QUINGENTESIMO 17", also 1517, erkennen lässt. Des weiteren findet sich eine zweite Datierung, nämlich 1487, am zinnenbekrönten Ecktürmchen. Sie ist aber offensichtlich erst später hier eingefügt worden und bezieht sich mit hoher Wahrscheinlichkeit auf das Burghaus.

Die geschichtlich, fortifikationstechnisch, städtebaulich und künstlerisch gleichermaßen bedeutsame Burganlage, die bis heute das Ortsbild Staufenbergs nachhaltig prägt, ist einschließlich sämtlicher Gebäude, Gebäudereste und Mauern sowie einschließlich der im Norden anschließenden Freiflächen Kulturdenkmal.