Die Burg, eine der künstlerisch und wehrtechnisch bedeutendsten (Dehio) und besterhaltenen Höhenburgen im Hessenland, liegt auf einem mächtigen Bergkegel, der nach Süden und Osten steil zum Mümlingtal ("Rosenau") abfällt, nach Nordwesten aber über einen schmalen Höhensattel mit den benachbarten Hügeln verbunden ist, auf deren Höhe die "Alte Frankfurter Straße" verläuft.

Die Anlage ist nach Ansicht der Historiker um 1160 als Vogteiburg der Reichsabtei Fulda, deren Besitz die Mark Umstadt seit 766 war, durch Abt Marquard I. gegründet worden. Ihr Herr und Erbauer dürfte Konrad Reiz von Lützelbach gewesen sein, dessen Sohn Konrad 1229 erstmals als "Konrad Reizo von Bruberc" in Urkunden erscheint. Die späteren Besitzverhältnisse sind höchst kompliziert: Nach dem Aussterben der Herren von Breuberg (1323) fiel die Hälfte an Konrad von Trimberg, je ein Viertel an Wertheim und Weinsberg; 1336 besaß das Haus Wertheim 3/4, Trimberg und Eppstein je 1/8; 1497 bis 1556 hielten die Grafen von Wertheim die ganze Burg und bauten sie in dieser Zeit großzügig aus; seit 1556 teilten sich die Grafen von Erbach (seit 1747 Schönberger Linie) den Besitz der Burg mit dem Haus Stolberg-Königstein, deren Hälfte jedoch mit Beginn des 17. Jahrhunderts an die Grafen von Löwenstein (später gefürstet als Löwenstein-Wertheim-Rosenberg) fiel. Nach dem Verkauf an das Deutsche Jugendherbergswerk (1940) ging die Burg 1949 in hessischen Landesbesitz über. In den letzten Jahren wurden umfangreiche Restaurierungsmaßnahmen durchgeführt.

Die Burganlage gliedert sich in die mittelalterliche Hauptburg, in die westlich angebaute Vorburg - vielleicht schon im 14. Jahrhundert gegründet, aber in ihrem heutigen Bestand aus der Zeit zwischen 1528 und ca. 1620 datierend - sowie in die polygonale Kernumwallung nebst äußerem Vorhof im Westen, mit der die alte Burg um 1490/1530 in ein zitadellenartig ausgebaute, wehrhafte Festung umgewandelt worden war. Letztere ist vollständig erhalten und besteht aus bastionierten Böschungsmauern (Contrescarpen) mit tiefen Wehrgräben, vier Geschütztürmen (Rondellen), einem östlichen Turm (1504) und einem Vorwerk mit Tor.

Die innere Vorburg wird über eine 1812 konstruierte Grabenbrücke durch einen Torbau mit tonnengewölbter Torhalle und Wachtstube betreten. Der Bau, den im Westen ein Treppengiebel schmückt, ist an seiner schönen Wappenkartusche zwar 1499 datiert, doch ist er sicherlich mindestens 20 Jahre später entstanden. Am nördlichen Ende des ersten Hofs liegt das älteste Gebäude der Vorburg, die Ruine des 1528 erbauten Wertheimer Zeughauses, dessen aufwendiges Renaissance-Portal ein Werk des Hans Stainmiller (bez.) ist. Nach Süden zu erstrecken sich die Reste (Unterbau, Konsolen und Treppenturm) eines winkelförmigen, um 1560 errichteten Wohnbaus, des sogenannten "Föppelbaus"; die Lücke zum Torbau schließt, noch unter Dach, der erbachische "Johann-Casimir-Bau" von 1606/13, der im Erdgeschoß eine gewölbte Marstallhalle, im Obergeschoß den "Rittersaal" mit prächtiger Stuckdecke enthält, wohl ein Werk des Eberhard Fischer aus Babenhausen.

Die Hauptburg betritt man durch einen Torbau mit spätromanischem Säulenportal vom Ende des 12. Jahrhunderts. In der Mitte des inneren Hofs steht der Bergfried des späten 12. Jahrhunderts, ein mächtiger quadratischer Turm aus Sandstein-Bossenquadern mit Schlagrändern, etwa 25 m hoch, 9 m breit und mit über 2,50 m dicken Mauern. Die obere Plattform mit Zinnen, Wächterpavillon und welscher Haube datiert von 1612. Linkerhand im Norden steht der sogenannte "Altbau" des 15./16. Jahrhunderts, darin die Brunnenhalle (85 m tiefer Brunnen; das Wasserhebewerk von ca. 1530 wurde 1971 rekonstruiert) und ehemalige Wohnräume. Nach Osten schließt sich der "Kapellenbau" ("Neubau") des 16./17. Jahrhunderts an; die spätgotische Kapelle, ein einfacher Saal mit steinerner Empore, die von 1821-49 die Kirche der katholischen Gemeinde gewesen ist, hatte schon 1695 anstelle der früheren Gewölbe eine einfache Holzdecke erhalten, die auf Säulen ruht.

Östlicher Abschluß des Hofs ist der "Obere Saalbau", auch "Frauenhaus" genannt, der nach seinem spätgotischen Erker ins 15./16. Jahrhundert datiert wird. Das Erbacher "Herrenhaus" im Süden ist am Palasgiebel 1568 datiert, doch handelt es sich um einen spätgotischen Bau mit einem kreuzgewölbten Saal im Mittelgeschoß.

Der Riegelbau zwischen innerem und äußerem Hof enthält die Burgküche und die Rentschreiberei (Amtshaus), einen gewinkelten, zweigeschossigen Fachwerkbau, dessen hochinteressantes Fachwerk - viertelkreisförmige Fußbänder, Knaggen, an der Giebelseite verblattete Kopf- und Fußstreben - in die Zeit um 1450 datiert wird: mit dem "Preussischen Hof" in Michelstadt (1443) somit das älteste Fachwerkgebäude im Kreisgebiet. Zwischen Rentschreiberei und innerem Burgtor befindet sich schließlich noch die "Münze" (16. Jahrhundert), deren Oberbau 1709 errichtet worden ist.

Nicht unwesentlich ist der intime Zusammenhang der Burg mit der am Fuß des Berges gelegenen kleinen Stadt Neustadt, deren Gründung und Stadtwerdung im Jahre 1378 in direkter Abhängigkeit von der Herrenburg zu sehen ist. Die Weinberghänge, die seit dem 19. Jahrhundert brachliegen, sind noch deutlich an ihrer Terrassierung am Südhang des Berges ablesbar. Berghang einschließlich der Weinterrassen und Höhenburg sind aus der Ferne eine untrennbare optische Einheit und daher Kulturdenkmal als Sachgesamtheit.