Die siedlerische Keimzelle der Stadt Erbach war die ehemals von Zwinger und Graben umgebene, kreisförmige Wasserburg der Schenken von Erbach. Von ihr ist der im frühen 13. Jahrhundert aus starken Buckelquadern errichtete, runde Bergfried erhalten, dessen Zinnenkranz 1497 von Schenk Erasmus durch eine Bekrönung mit drei getreppten Zwerchgiebeln und einem hohen Spitzhelm ersetzt wurde. 1736 ließ Graf Georg Wilhelm - nach Aufgabe eines aufwendigeren Projekts des Saarbrücker Baumeisters Friedrich Joachim Stengel - die alte Burg abtragen und baute einen nüchternen dreigeschossigen, steinernen Schloßbau zu zwanzig Achsen mit Mansarddach und aufgemaltem Architekturdekor. Sein heutiges Aussehen verdankt das Schloß allerdings der Zeit von 1900-02: Neobarocke Fensterverzierungen in Imitation der früheren Fassadenmalerei und eine ionische Kolossalordnung, beide aus mit Zinkblech verkleidetem Holz, wurden der Fassade vorgeblendet, um ihre großflächige Monotonie zu beleben.

Von besonderem Interesse sind die bedeutenden Sammlungen des Grafen Franz I. im Inneren des Schlosses: Stüke aus römischer und mittelalterlicher Zeit, Waffen, Rüstungen, Jagdgeräte, Glasmalerei und Skulpturen, darunter der berühmte spätgotische Schnitzaltar aus Hesseneck-Schöllenbach. Bemerkenswert auch die überwiegend museal genutzten, prächtig ausgestatteten Räumlichkeiten selbst: der 1803 angelegte, zwei Geschosse umfassende Rittersaal mit seinen neogotischen Stern- und Netzgewölben, die Hirschgalerie von 1865, deren reichgeschnitzte Holzdecke (um 1685) aus der Prämonstratenserabtei Rot a. d. Rot stammt, zwei "Römische Zimmer", die Schloßkapelle mit dem Sarg Einhards und gräflichen Grabplatten sowie die 1813 erbaute Hubertuskapelle, die den Schöllenbacher Altar birgt.

Das Schloß bildet zusammen mit den in Massivbauweise errichteten Nebengebäuden einen großen Hof von unregelmäßiger Form. Zwischen Hauptbau und einem neobarocken Pförtnerhaus erhebt sich der Archivbau mit der großen, runden Tordurchfahrt. Im letzten Drittel des 16. Jahrhunderts angelegt, nimmt er seit 1737 das Archiv und die Hofbibliothek auf, ein schmucker Renaissancebau mit Schweifgiebeln an den Schmalseiten und einem polygonalen Stiegenturm. Der Hof wird nach Norden und Westen begrenzt durch den "Alten Bau", ein anspruchsloses zweigeschossiges Gebäude mit Stallungen und Fachwerk-Obergeschoß, 1550 erbaut und 1894 erheblich erneuert, sowie durch den Kanzleibau, ehemaliges Kornhaus, einen ansehnlichen Renaissancebau von 1540, der 1893 nach einem Brand in wesentlichen Teilen erneuert worden ist.

Zwei Bildstöcke, einer mit leerer Nische (am Bergfried) und ein zweiter, spätgotischer mit Kreuzigungsrelief (am Archivbau) sind im Hof aufgestellt.

Das Schloßgelände ist zum Schloßgraben und zum Marktplatz hin mit niedriger Mauer und gußeisernem Gitter eingefriedet; zwei lagernde Hirsche aus Bronze vor der Hauptfassade zeugen von der bis heute ungebrochenen Jagdfreude des Grafenhauses.