Die Randbebauung des Schlitzer Marktplatzes hat durchaus bürgerlichen Charakter, im Osten jedoch hat sich mit dem Schloss Ottoburg herrschaftlicher Einfluss im Wortsinne breitgemacht. Die Baugeschichte der Ottoburg ist nicht vollständig geklärt. Ihr Ursprung ist in der Mitte des 15. Jahrhunderts zu vermuten; wohl durch Otto von Schlitz (erwähnt von 1448–84) ist damals ein schmaler fester Bau in Verbindung mit einem Turm der Befestigung des Stadtbergs in deren dritter Ecke (vgl. die Positionen der Vorder- und der Hinterburg) errichtet worden. Die heutige Gestalt wurde in der Mitte und der zweiten Hälfte des 17. Jahrhunderts unter Otto Hartmann und seinem Sohn Philipp Friedrich durch die nach Südosten gerichtete und in zwei Phasen ablaufende Erweiterung des Kernbaus erreicht – unter Inanspruchnahme bürgerlicher Bauten und Grundstücke. Otto Hartmann hat im Keller eine Tafel mit einem Bauspruch, datiert 1653, hinterlassen, Philipp Friedrich (†1695) über dem Portal sein Wappen und das seiner Ehefrau Juliane Elisabeth von Minnigerode. Insbesondere der Kellerbereich des äußerlich recht einheitlich wirkenden Gebäudes lässt die unterschied-lichen Bauphasen erkennen. Die Ottoburg ist ein vierzehn Achsen breiter, zum Marktplatz zweigeschossiger, unverputzter Sandsteinbau, der mit einem Walmdach abschließt. Gliederungselemente sind Eckquaderungen (bemerkenswert die sorgfältige Nummerierung der Eckquader links im Obergeschoss und der "Schreckkopf" unter der Traufe rechts) sowie geohrte, profilierte Fenstergewände und schließlich das Portal. Es ist korbbogig und in eine rechteckige Rahmung einbeschrieben, die mit seitlichen Putten und Maskarons ausgestattet ist. Über der waagerechten Portalverdachung wird eine leer gebliebene Tafel von vegetabil ausgebildetem "Rollwerk" gerahmt, darüber erscheinen die Wappen des letzten Bauherrn und seiner Gattin. Die Rückseite der Ottoburg ist über abfallendem Gelände dreigeschossig und hat zwischen Ecktürmen (von denen der etwas schlankere nördliche ursprünglich Teil der Stadtbergbefestigung war) elf Fensterachsen. Die Mitte ist durch ein ovales Fenster und einen Balkon über dem Gartenzugang betont. Die Gestaltung der Fenster setzt sich in den mit eingezogenen Hauben schließenden Türmen symmetrisch fort. Nach Südosten schließt sich ein niedrigerer, ebenfalls massiver und mit gleichen Fenstergewänden versehener Anbau an, der zum Marktplatz hin durch einen eingeschossigen Fachwerkflügel aus dem frühen 19. Jahrhundert mit Türen der Bauzeit fortgesetzt wird. Im Innern der Ottoburg, die von 1954 an für einige Jahrzehnte als Jugendherberge genutzt wurde, sind prächtige Türen mit Säulen- und Pilasterrahmungen, Intarsien und Beschlägen erhalten. Sie sind dem Alsfelder Schreiner Michael Finck zugeschrieben worden und sollen aus der Hinterburg stammen. Die Ottoburg leitet insbesondere durch ihre in die Breite geführte Kubatur und die axiale Fassadengliederung zum frühen Barock über, auch in der Baugeschichte – wegen des Übergriffs auf bürgerliches Grundeigentum hatte es einen Prozess vor dem Reichskammergericht gegeben – werden bauzeittypisch Tendenzen der Stadtherren zum Absolutismus deutlich.