Etwa 500 m südöstlich des Stadtbergs existierte unweit der Schlitz in der Flur "die Hall" schon zu Beginn der frühen Neuzeit ein herrschaftlicher Hof, den Hans von Schlitz um 1566 ausbauen ließ. Als Friedrich Wilhelm v. Schlitz 1679 Besitzer des herrschaftlichen Anwesens wurde, existierte außer Ökonomiegebäuden bereits ein "Schloss". Friedrich Wilhelm trug sich spätestens 1688 mit Neubaugedanken, als er zunächst Wirtschaftsgebäude wiedererrichten beziehungsweise verändern ließ, wobei diese auf einen "vorhabenden Bau" Rücksicht zu nehmen hatten. Um die Mitte der 1690er Jahre wandte er sich wegen seiner Neubaupläne an den braunschweigischen Architekten J. C. Borchmann, und allmählich begann "ein Beispiel kollektivistischer Bauplanung des Barock" (J.R. Wolf), an dem außer Borchmann und dem Hannoveraner Sudfeld Vick unter anderen der Eisenacher Baumeister Johann Mützel, der um 1702 die grundlegenden Pläne anfertigte, sowie schließlich Louis Remy de la Fosse und Johann Nikolaus Pritzier maßgeblich beteiligt waren. 1706 war das Kellergeschoss vollendet, 1708 konnte Richtfest gefeiert werden, noch bis wenigstens 1711 dauerte der Innenausbau. Das Schloss brannte dann 1755 zumindest teilweise aus und wurde unter Graf Carl Heinrich 1802 in klassizistischem Sinne verändert. Die Proportionen wurden dabei durch die Einrichtung eines zweiten Obergeschosses an Stelle des früheren Mansarddachs gestört, die Grundstruktur aber blieb erkennbar. Der Bau mit elf zu vier Achsen hat zum Hof zwei angedeutete zweiachsige Seitenflügel und ein mittleres Portal über breiter, doppelläufiger Freitreppe. Zum Garten ist ein dreiachsiger Mittelrisalit ausgebildet, abschließend mit einem Dreiecksgiebel, den ein Girlandenrelief ziert. Dem Risalit ist eine breite Terrasse mit Freitreppe vorgelagert. Gliederungselemente der Schlossfassaden sind besonders die die Ecken betonenden Lisenen, die wie das Sockelgeschoss genutet sind. Außerdem setzen die Portalverdachungen und ein Gesims in Höhe der ursprünglichen Traufe Akzente. Die Gewände der rechteckigen Fenster blieben schlicht. Aufgesetzt ist dem Schloss ein flaches Walmdach. Im Innern sind nur geringe Reste einer älteren Ausstattung (unter anderem Rokokostuckaturen im Erdgeschoss rechts) erhalten. Wesentlich prägen dagegen die klassizistischen Erneuerungen nach dem Brand das Bild. Hervorzuheben ist das Vestibül mit marmorierten ionischen Holzsäulen und seitlichem hölzernem Treppenhaus mit leichten, eleganten Geländern und unter feiner Stuckdecke. Dem Vestibül schließt sich im Erdgeschoss ein kleiner Gartensaal mit Stuckleisten (Blatt- und Zahnfries, Rosetten, Lotos-Palmetten-Band) und Deckenmalereien (Tierkreissymbolik in Halbkreisfeldern, nach Entwürfen von Karl Friedrich Wichmann) an. Der Fußboden entstand nach Zeichnungen von Gustav Vorherr. Der im Obergeschoss über dem Gartensaal befindliche Raum gewinnt dadurch besonderen Wert, dass er nach 1801 mit einer prächtigen chinesischen Papiertapete aus der Zeit um 1770 ausgekleidet und entsprechend eingerichtet worden ist. Weiterhin gehören im Schloss Fußböden und Türen der Zeit nach 1800 an. Ein groß angelegter Plan für die Anlage des Gartens hatte wohl seit Anfang des 18. Jahrhunderts bestanden. Die Ausführung wurde nach der Fertigstellung des Schlosses in stark reduzierter Form wiederum wohl unter Einfluss von de la Fosse angegangen, wobei ein Parterre zwischen dem Schloss und der Schlitz den Schwerpunkt bildete. Um und nach 1800 wurde das das Schloss umgebende Terrain durch J.W.A. Hohmann zum Landschaftsgarten umgestaltet. Von größeren Gartenarchitekturen, einem Monopteros in der Ostecke des Parks am Fluss und einem großen Gewächshaus, blieb nur der Mittelteil des letzteren erhalten (Gräfin-Anna-Straße 2). Im Norden quert eine kleine Steinbrücke den Sengelbach. 1954 übergab Graf Otto Hartmann die Hallenburg an die Stadt, die darin das Gymnasium einrichtete. Nach Aufhebung der Schule 1977 und nach längerem Leerstand wurde 2004–06 die Landesmusikakademie im Schloss und den früheren Hofgebäuden eingerichtet.