Die Gebäude des 1547 von den Junkern Werner und Friedrich von Schlitz gegründeten Hospitals waren zu Beginn des 19. Jahrhunderts heruntergekommen, so dass Graf Carl Heinrich 1810 einen Neubau motivierte und unterstützte. Für den Amtsarzt Carl Ludwig Braun war dieser 1840 "das schönste Gebäude der Stadt": ein breiter, zweigeschossiger Bau in konstruktivem Gefüge über hohem Sockel aus Sandsteinquadern. Walmdach mit Fledermausgauben, strenge Axialität und angedeutete Seitenrisalite vermitteln klassizistischen Gestaltungsanspruch. Eine breite Durchfahrt (am Torbogen, wie an der Wetterfahne auf dem Dach, ein Johanniterkreuz) führt in den Hof, den auf der linken Seite ein Flügel begrenzt. Er hat einen schmalen Mittelrisalit, dessen Giebel noch mit Hängeplatten ausgezeichnet ist. Am Flügelbau lobte Braun, dass er "rundum frei ist und somit Aussicht ins Grüne gewährt". Hier waren Wohn- und Arbeitsräume für die "Hospitaliten", Krankenstuben und sogar ein Badezimmer untergebracht, während sich zur Straße hin die Wohnung des Verwalters, Einrichtungen zu medizinischen Operationen und eine Kapelle fanden. Für Nutzungserweiterungen wie Suppenküche, Kinder-, Strick- und Sonntagsschule war Raum. Am Erweiterungsbau des nunmehrigen Krankenhauses von 1964 verdient ein Wandbild oberhalb des früheren Eingangs Beachtung, das eine Krankenschwester und eine Patientin vor der Silhouette des Stadtbergs zeigt (von Walter Niebergall aus Hilders). Im Garten steht ein kleiner historistischer Fachwerkbau, der vielleicht ursprünglich ein Isolierhaus war und später als Leichenhaus diente. Das Hospital, das bis heute einen Teil seiner ursprünglichen Funktionen behalten hat, ist ein bedeutendes Kulturdenkmal aus sozial- und baugeschichtlichen wie auch städtebaulichen Gründen.