Der Nord- und Ostflügel gingen aus dem Umbau des ehem. Klosterhofes bzw. der Wasserburg in den Jahren 1614-17 hervor, während der Südflügel 1622-29 von Grund auf neu entstand. Ein vierter Flügel am Elbbach mit festlicher Arkadengliederung wurde 1780 wieder abgebrochen. Eine bastionsartig geführte Terrasse schiebt sich zum Flussufer vor.

Der Schlossbau ist eine äußerlich einheitliche Renaissancearchitektur, dreigeschossig und mit großen Kreuzstockfenstern. Auf den Dächern reihen sich zahlreiche Zwerchhäuser mit Rollwerkgiebeln. An der Nordost-Ecke der turmartige, ehemalige Chorbau und am Nordflügel hofseitig ein achteckiger Treppenturm. Der Hauptturm am Südflügel überragt mit vier niedrigen Obergeschossen und einem vielteiligen Haubendach die Anlage. Entsprechend der Gesamtachse aller Höfe liegen die Durchfahrten an der Nord- und Südseite. Über dem südlichen Hoftor ein Alabasterrelief mit dem Brustbild des Grafen Johann Ludwig. Außen zwei Erker mit Bauinschrift und Allianzwappen von 1617.

Innen - Im Ostflügel - befinden sich Räume des ehem. Klosterhofes des 13. Jhs. Außer Resten des Chores die große Kelleranlage mit Kreuzgratgewölben über sieben stämmigen Rundsäulen und darüber die Verwalterstuben mit Kreuzgewölben auf einer Mittelsäule.

Der Südflügel enthält im Erdgeschoss die Schlosskapelle, die seit 1791 ev. Pfarrkirche ist. Quadratischer Raum mit zweigeschossiger Dreiseitempore und reichen Schnitzereien. Im westlichen Teil liegt die Schlossküche, tonnengewölbt über zwei großen Säulen und mit einem Rauchfang auf Säulchen.

Die Fürstenwohnung im 1. Obergeschoss ist mit eleganten Stuckaturen aus der Werkstatt Eugenio Castellis (1705-10) und mit Deckengemälden (verm. Valentin Küßner aus Stuttgart) ausgestattet. Dabei auch ein gewölbtes Balkonzimmer und eine Bibliothek. Von 1698-1700 stammen im II. Obergeschoss die erhaltenen Stuckdecken des "Sommersaals" und des "Wintersaals".