In unmittelbarer Nachbarschaft zur Kirche liegt das Werdorfer Schloss, das ab 1686 als Witwensitz für Gräfin Ernestine Sophie von Solms-Greifenstein, geb. Hohenlohe-Schillingsfürst, errichtet wurde. Michel Reis (vgl. Aßlar, Kirche) und Jacob Heylandt sind als Maurermeister nachgewiesen. Der dreige, fünfachsige Hauptbau erhebt sich über drei tonnengewölbten Kellern. Die Fenster besaßen ursprünglich wohl Dreiecksverdachungen. Während die Südfront durch einen Eingangsvorbau von 1914 (Architekt Carl Seiler, Braun) betont wird, ist die Nordfront durch einen übergiebelten Mittelrisalit und zwei haubenbekrönte Ecktürme mit Schießscharten gegliedert. Diese sollen ebenso wie die beiden Turmstümpfe an der Remise auf die vier Ecktürme eines Vorgängerbaus zurückgehen. Es erscheint jedoch fraglich, ob es sich dabei um die vermutete wasserumwehrte Anlage des 14. bzw. 15. Jhs. handelt. Ab 1720 war das Schloss als Fedeicomißgut bestimmt und diente seit dem Ende des 19. Jhs. verschiedenen Lehr- und Ausbildungsanstalten. Bei der jüngsten Renovierung für die Nutzung als Heimatmuseum versuchte man, die alte Inneneinteilung weitmöglichst wiederherzustellen. Von den ursprünglichen Gartenanlagen haben sich außer einigen Einzelbäumen und der Freiflächen selbst keine nennenswerten Reste erhalten.