Die ehemaligen Stiftsgebäude des Klosters Altenberg wurden anlässlich des Neubaus der Kirche unter der Meisterin Gertrudis etwa um 1260/70 errichtet und im späten 17. bzw. 18. Jahrhundert im Zuge des wirtschaftlichen Aufschwunges erweitert. Ein schwerer Brand vernichtete 1952 einen Großteil der Anlage, die unter weitgehender Beibehaltung der Außenwände bis 1955 wiedererrichtet wurde. Die südlich der Kirche gelegenen, zweigeschossigen Massivbauten gruppieren sich um zwei Höfe, die von einem Mittelflügel getrennt werden. Am westlichen Kreuzgarten liegen die ältesten Gebäude, großenteils aus der Bauphase unter der Meisterin Gertrudis. Der Westflügel, auch Küchenhausbau genannt, zeigt einige alte Fensteröffnungen wie z.B. das gekuppelte Kleeblattbogenfenster an der nördlichen Giebelwand sowie die 1953 freigelegten Arkaden des Kreuzganges, von dem sich im Inneren noch ein gewölbtes Joch mit Blattkonsolen erhalten hat. Außerdem Wandmalerei mit Heiliger Sippe, 15. Jahrhundert und Putzsgraffito Flucht aus Ostpreußen, 1955 von F. Bartsch-Hofer. Auch an dem lang gestreckten, bis zum Schulgarten reichenden Südflügel zeugen noch alte Fenstergewände von der frühgotischen Entstehungszeit des Hauses. Zahlreiche Öffnungen gehen jedoch auf Umbauten der Barockzeit bzw. auf Rekonstruktionen nach dem Brand von 1952 zurück. An der Hofseite an einem neuen Aufzugsturm (1965) schön gemeißelter mittelalterlicher Türsturz mit Blattwerk, an der Südseite 1722 datiertes Portal mit Wappen der Meisterin Margaretha Catharina von Calenberg; weitere Tür inschriftlich bezeichnet 1700, Anna Margaretha Forstmeisterin von Gelnhausen. An der östlichen Giebelwand korbbogiges Portal mit weiterem Wappen. Von dem Brand 1952 unberührt blieb einzig der Barbarossa-, Gertrudis- oder Neustubenbau in der Nordwestecke des Kreuzgartenhofes. Über einem massiven Erdgeschoss mit einer vermauerten Spitzbogenöffnung erhebt sich ein wenigstens ins 16. Jahrhundert zu datierendes Fachwerkgefüge, darüber ein teilweise abgewalmtes steiles Satteldach. Im Inneren eine Esse auf spätgotischen Stein- und Holzstützen, sowie im Obergeschoss ein schön geschnitztes barockes Türgewände. Während die Nordwand des Kreuzgartenhofes von der Gruftkapelle und den ruinösen Resten der Siechmeisterei eingefasst wird, schließt ihn nach Osten der 1955 anstelle eines schmaleren Vorgängerbaus entstandene Mittelflügel ab. Der benachbarte Schulgarten an der Kirche wird durch die Torfahrt des Neuen Baues erschlossen, der den Hof nach Osten abriegelt. Abgesehen von dem wohl noch spätmittelalterlichen Bau in Verlängerung der Sakristei sind erste Arbeiten 1617 sowie 1644/45 nachweisbar; die Datierung 1705 an einer Tür gehört wohl zu einer späteren Ausbauphase. Im Inneren noch barocke Ausstattungsstücke (Türen, Stuck). Unmittelbar nördlich der Kirche liegt der alte ummauerte Friedhof, mehrfach erhöht, mit einer Altarapsis im Westen.