Über der Schwalm erhebt sich, weit in die Landschaft ragend, Schloß Altenburg, das erstmals im Jahr 1178 erwähnt wird. Die Herren von Aldinburg waren Lehnsleute des Klosters Fulda. In einer Auseinandersetzung mit dem Landgrafen Otto wurde die Burg um 1314 eingenommen und geschleift. 1319 ist eine wiederaufgebaute Anlage archivalisch überliefert. Nach einer wechselvollen Geschichte gibt ein Salbuch von 1574 Auskunft über die aktuellen Besitzverhältnisse. Insgesamt existieren drei Burglehen, deren Inhaber Christoph von Liederbach, Stam Rotzmann und der Junker von Lehrbach waren. Ein viertes Lehen, das die Riedesel von Eisenbach inne hatten, war an die von Liederbach verpfändet, die bis zum Erlöschen der Linie im Jahr 1605 die Burg bewohnten. Ihre Nachfolge nahmen die Schetzel von Mertzhausen ein. Schließlich siedelte 1681 Freiherr Hermann XVI. Riedesel in die Altenburg über, nachdem er die Anteile der übrigen Lehnsinhaber an sich genommen hatte. Die Burg befindet sich bis heute im Besitz der Familie.

Die Bausubstanz des Schlosses entstammt Umbauarbeiten der mittelalterlichen Anlage. Im 18. Jahrhundert entstanden der Nordflügel und der sog. Kirchenflügel, datiert in das Jahr 1744. Beide Bauten, zweigeschossige, verputzte Gebäude mit abschließendem Mansarddach, stehen in rechtem Winkel zueinander. Auf einen jüngeren Anbau mit Satteldach folgen im Osten und dann im südlichen Hofabschnitt Stallungen in massivem Mauerwerk aus dem 19. Jh. Die Gruppe der Profanbauten schließt ein langgezogener Riegel eines traufseitig erschlossenen Wohnwirtschaftstraktes im Südosten der Burganlage. Die Fachwerkkonstruktion des Wohnhauses mit den doppelt verriegelten Stockwerkstreben läßt eine Datierung in die zweite Hälfte des 19. Jh. zu. Ältere Reste der Anlage finden sich in den Grundmauern des Südflügels.