Ab 1679 kaufte Johann Riedesel einige Gärten, die er zur Burg zog und in den folgenden Jahren ummauern ließ. Wohl von der damaligen Gartengestaltung blieb in der östlichen Mauer eine breite, flachbogige Nische mit Sitzbank erhalten. Eine barocke Umgestaltung von 1773 hinterließ keine wesentlichen Spuren, heute erscheint der Garten als kleiner Park mit altem Baumbestand. Ein deutliches Gefälle im Süden zur Stadt hin ist entweder auf die Ebnung des barocken Parterres zurückzuführen, wahrscheinlicher aber Relikt des hier ehemals verlaufenden Stadtgrabens.

Die den großen rechteckigen Garten einfassende Mauer dürfte im südlichen Bereich mit der Stadtmauer identisch sein, sonst stammt sie aus den Jahren 1679-81: zwei bis drei Meter hoch aus Basalt- und Sandsteinbruch mit Eckquaderungen und jüngerer Ziegelabdeckung der Mauerkrone. An der Straße Hinter der Burg erscheinen einige schießschartenartig schmale (zugesetzte) Öffnungen, zur Straße Am Untertor eine kleine rechteckige Pforte mit schlichten Sandsteingewänden, im Sturz die Jahreszahl 1681. Zum Burggarten gehört seit dem späten 19. Jahrhundert auch das Areal der ehemaligen Zehntscheune südlich des Burgschlosses (Flurstück 213/1).

1897 wurde im Garten die sogenannte Burgvilla als "Kammerdirectors-Wohngebäude" nach Plan von Jacob Reuter errichtet. Sie erhebt sich über einem Basaltsockel als querrechteckiger, eineinhalb- bis zweigeschossiger Putzbau mit Backsteingliederungen und segmentbogigen Fenstern. Kniestock und Giebel sind heute verschindelt. Das Krüppelwalmdach ist durch Gauben bzw. im Süden durch hohe Zwerchgiebel ausgebaut. Akzente setzen der überdeckte Treppenaufgang an der linken Schmalseite sowie zum Garten hin eine Veranda und ein polygonaler Anbau mit Balkon.