Nördlich der alten Stadtbefestigung befindet sich das spätmittelalterliche Leprösenhospital „Zum Heiligen Geist", das erstmals im Jahr 1363 erwähnt wird, aber, wie die dendrochronologische Untersuchung zeigte, schon um 1340 bestand. Aus dieser Frühzeit sind das steinerne Hospitalgebäude und Reste der ursprünglich höheren Umfassungsmauer mit einem spitzbogigen Portal erhalten. Im 15. Jh. wurde das Hospital entscheidenden baulichen Änderungen unterzogen: der Chor wurde abgebrochen, das Rauminnere erhöht.

Kulturhistorische Bedeutung erlangte die Kapelle durch die im Jahr 1958 freigelegten Wandmalereien. Aus der Mitte des 14. Jhs. hat sich der Zyklus der „Törichten und Klugen Jungfrauen" an der Nordwand erhalten; um 1420 wurde eine Kreuzigungsdarstellung an der Vermauerung des Chorbogens mit einem Gnadenstuhl und Schmerzensmann fertig gestellt. An der Südwand finden sich aus dem gleichen Zeitraum eine Figur des Heiligen Martin sowie Szenen aus der Vita der Heiligen Elisabeth. Die Westwand schmückt die Darstellung eines „Jüngsten Gerichts". Aus der zweiten Hälfte des 15. Jhs. stammen einige Heiligenfiguren und die selten nachweisbare Szene einer Hostienmühle.

Im Inneren des Hospitals befindet sich die Grabplatte des Siegehard Emmichen († 1371).

Im Anschluss an das spätmittelalterliche Hospital erhebt sich ein großdimensionierter, langgestreckter Fachwerkbau in zwei Geschossen über hohem Sockel, der zwischen 1748 und 1755 erbaut wurde. Über das Aussehen des Vorgängerbaues ist nichts bekannt, lediglich der Keller dieses Gebäudes ist ebenso orientiert wie der heutige Bau.

Das Fachwerkgefüge besteht aus K-Streben mit Brust- und Sturzriegeln an den Eck- und Bundständern, den oberen Abschluss bildet ein abgekrüppeltes Mansarddach mit stehenden Gauben. Der Grundriss zeigt neben den Räumen der Bewirtschaftung und der Verwaltung insgesamt 34 kleine Kammern, in denen alte Menschen ähnlich einem heutigen Altersheim untergebracht waren. Diese Disposition entspricht in etwa mittelalterlichen Klosterzellen. Das Allendorfer Hospitalgebäude ist eines der jüngsten erhaltenen Gemeinschaftshäuser, dessen Grundriss sich spätmittelalterlicher Ideen bedient.

Im Siebenjährigen Krieg war das Hospital französisches Lazarett, danach wurde es in Stand gesetzt und in seiner ursprünglichen Funktion betrieben. Die letzte große Sanierung wurde 1890 vorgenommen, 1925 wurde die Hospitalstiftung aufgelöst und das Gebäude zu einem Wohnhaus umgebaut.