Die im Kern staufische Burganlage, gelegen auf einem steil nach dem Gersprenztal abfallenden Bergkegel, war anfangs wahrscheinlich ein Pfälzer Lehen an die Schenken von Erbach, vielleicht aber auch die Stammburg der Herren von Crumbach (Rodenstein), die als allodialer Erbanfall an die Erbacher kam. Die Errichtung der Burg wird angesichts deutlicher Analogien mit der Burg der Herren von Bickenbach (Alsbach, Kreis Darmstadt-Dieburg) und dem "Schnellerts" (Brensbach, Affhöllerbach) in die erste Hälfte des 13. Jahrhunderts gesetzt. Erste urkundliche Erwähnung 1307 als Kondominialbesitz der Linien Erbach-Reichenberg und Erbach-Michelstadt. Burg und Amt Reichenberg seit 1531 Alleinbesitz Eberhards XIII., der 1532 Reichsgraf wurde. Wiederholt im Besitz der Fürstenauer Linie, seit 1717 Erbach-Erbach, bis Graf Georg Wilhelm die Residenz 1731 nach Erbach verlegte. Seitdem allmählich Verfall, obwohl Teile noch lange Zeit bewohnt blieben. Im 19. Jahrhundert Sicherungsarbeiten durch Graf Eberhard XV., Einrichtung eines Knaben-Erziehungsheims in der Vorburg. 1924 Erwerb durch die Familie Siefert vom Fronhof, die heute noch den "Krummen Bau" bewohnt. Die Vorburg diente als Erholungsheim der Post, später als Freizeitheim der "Offensive Junger Christen", die 1983 mit Restaurierungsarbeiten begonnen haben.

Von der staufischen Kernburg sind noch große Teile der starken Schildmauer erhalten. Der Palas, genannt der "Krumme Bau" 1554 erneuert, dürfte ebenfalls noch erhebliche Teile des 13. Jahrhunderts enthalten. Die Fundamente des Bergfrieds wurden 1936 ergraben. Hier außerdem erhebliche Reste des Küchenbaus (Mitte 16. Jahrhundert) und eines zweiten Wohngebäudes (1613) sowie ein Ziehbrunnen mit den Wappen Erbachs und der Pfalz und den Daten 1557 und 1567. Die Kernburg umgibt ein Zwinger (14. Jahrhundert?). Die Vorburg, unterhalb der älteren Anlage südlich anschließend, entstand wahrscheinlich kurz vor 1400. Aus dieser Zeit stammt die Burgkapelle, ein ehemals flachgedeckter Bau mit dreiseitig geschlossenem, ursprünglich gewölbtem Chor, der erst nach 1450 angefügt wurde. Das Erbachische Amtshaus oder "Kammerbau" wurde erst nach 1720 anstelle eines Ökonomiegebäudes von Graf Georg Wilhelm errichtet.

Am südlichen Hang des Reichenbergs sind noch Reste der Terrassierungen des einstigen Weinbergs zu erkennen, der bis ins 19. Jahrhundert gute Weine lieferte. Er wurde erst 1879 gerodet und in Ackerland umgewandelt. Neben dem Breuberg zeigt der Reichenberg als einziger Ort im Kreisgebiet die sichtbaren Spuren früheren Weinbaus, der heute bis auf einen kleinen Wingert bei Brensbach ausgestorben ist.