Auf einem Bergausläufer östlich des Dorfs, der ursprünglich ein Umlaufberg der Lauter war, errichteten sich die nunmehrigen Herren von Wartenberg, die vorher im Dorf ihren Sitz gehabt hatten, im ersten Drittel des 13. Jahrhunderts eine Burg über älteren, teilweise wohl karolingischen Siedlungsrudimenten. Nach der Beteiligung der aufstrebenden Herren an der Erhebung des regionalen Adels gegen den Abt von Fulda, wurde die Burg bereits um 1265 von Fulda aus zerstört und in der Folgezeit nicht wieder aufgebaut. Mit dem Aussterben der Familie von Wartenberg 1353 gelangte die Ruine in eisenbachischen und schließlich 1429 in riedeselischen Besitz. Das Baumaterial verschwand nach und nach, aber die Erinnerung an die Burg blieb deutlich bestehen. So wird um 1600 berichtet: "Es liegt nahe dem Dorf Angersbach das Wasser hinab ein alter Mauernschedel, so ein altes Schloss gewesen, daruff ein adlig Geschlecht genannt die von Wartenberg gewohnet ..." Aus 1828 werden erste forschende Grabungen durch die Gemeinde Angersbach überliefert. In den 1880er Jahren wurde der Bereich der Vorburg mit Linden bepflanzt und zu einem Festplatz gestaltet.

Georg Landau hatte sich die Ruine um 1830 angesehen und einen Rekonstruktionsversuch unternommen. Etwa zwei Jahrzehnte später fand Johann Philipp Dieffenbach "nur noch den Rest eines alten Kellers und einen Türpfosten mit einer Türangel" vor. 1914 schließlich wurde eine Mauer mit einem Strebepfeiler freigelegt, wobei auch einiges Fundmaterial anfiel. Weitere Ausgrabungen folgten 1938/40 durch den Studienrat Karl Maurer, die damals gewonnenen, zumeist stauferzeitlichen Funde bewahrt das Hohhaus-Museum in Lauterbach.

1976 gründete sich die "Fördergemeinschaft zur Rettung der Burgruine Wartenberg", die bis heute weitere Freilegungen sowie die verdeutlichende Höherführung der Mauerreste und insbesondere des früheren Bergfrieds in Angriff nahm.

Die Kernburg bildet ein unregelmäßiges Oval von etwa 100 mal 80 Metern, das von einer Schmalseite im Süden her erschlossen ist. Die Innenseite der Ringmauer war bis auf einen Abschnitt im Nordwesten - wo sich ein Brunnen und ein zweites Tor befanden - bebaut: Westlich des Haupttors stand ein Bergfried über quadratischem Grundriss, der 1983 und 2002 wieder in eine Höhe von etwa 10 m gebracht wurde. Ihm folgte ein rechteckiger Bau, der den Funden entsprechend als Küchen-Kapellen-Bau bezeichnet wird. Östlich des Haupttors sind Kellerräume von einem Palas erhalten, daran anschließend an der Ost- und Nordmauer die Reste weiterer Bauten, zu denen ein zweiter Palas, ein Stall und ein Wirtschaftsgebäude zu zählen sind.

Um die Kernburg zeigt eine gegen acht Meter tiefer liegende, einigermaßen ebene Fläche die Ausdehnung der Vorburg an. Ihr im Süden befindliches Tor und ein Abschnitt der Ringmauer wurden zur Verdeutlichung skizzenhaft nachgebildet.

Die Ruine mit ihrer unmittelbaren Umgebung ist aus geschichtlichen und wissenschaftlichen Gründen zu schützen.