Seit dem 13. Jahrhundert erscheint die Familie von Dersch als Dienstmannen der Grafen von Wittgenstein und später als Burgmannen der Erzbischöfe von Mainz in Battenberg, Kellerberg und Mellnau. Im Jahre 1453 übernahmen sie von der Familie von Hohenfels die Hälfte des Gerichts in Viermünden, das sie 1487 mit Zustimmung des Landgrafen von Hessen endgültig kauften. Die Familie von Dersch residierte seit 1368 in der Wasserburg Nordenbeck, zog jedoch nach dem Erwerb des Gerichts nach Viermünden, wo sie umgehend mit dem Um- und Ausbau des Schlosses begann. Zwischen 1557 und 1575 ließen Georg und sein Bruder Rabe von Dersch den Oberhof und die Ringmauer erbauen, der Unterhof folgte im 17. Jahrhundert. Die Familie von Dersch bewohnte bis zu ihrem Aussterben im Jahre 1717 das Schloss, das in der Folge an den Landgrafen von Hessen fiel. Dieser gab es zunächst 1721 als Lehen an die Familie von Dalwigk aus Lichtenfels aus, die jedoch bald darauf ausstarb. Seit 1754 ist das Schloss als Staatsdomäne im Besitz der Landgrafen von Hessen, deren Nachfolger es 1927 an den Landkreis Frankenberg verkauften. Das gesamte Anwesen ist heute in Privatbesitz.
Das Schloss gliedert sich in zwei parallele Flügel, den Ober- und Unterhof, deren mittiger Hof zur Straße von einer Tormauer und nach Norden von einer Steinmauer mit Schießscharten sowie Rundturm des 16. Jahrhunderts, ebenfalls mit Schießscharte, im Nordwesten abgeschlossen ist. Der ältere westliche Oberhof, der an der Südseite einen teilweise hervortretenden Rundturm einschließt, präsentiert sich als zweigeschossiger Bau mit zur Straße breiterem und nach Norden schmalerem Bauteil mit Satteldächern. Ursprünglich im 16. Jahrhundert errichtet, ist der vordere Bruchsteinbau mit einer Eckquaderung versehen und zeigt hofseitig über einem profilierten Sandsteingesims des Erdgeschosses ein vierfach verriegeltes Fachwerkobergeschoss des späten 17. Jahrhunderts mit Mannfiguren und unregelmäßigen Fußbändern über einer Gebälkzone mit profilierter Schwelle und gerundeten Füllhölzern. Der an dieser Seite über eine Freitreppe erschlossene Eingang ist durch ein übergiebeltes, verschiefertes Zwerchhaus im Dachgeschoss hervorgehoben. Unregelmäßig gereihte Fenster mit teilweise gefasten Sandsteinlaibungen sind vielfach zu Zwillingsfenstern zusammengeschlossen; ein Fenstersturz westlich des Turmes ist mit Steinmetzzeichen, zwei Neidköpfen und Dreischneuß versehen. An der rückwärtigen Fassade hat sich ein Aborterker erhalten. Nach Norden wurde dieser erste Bau in zwei Phasen über einer bestehenden Außenmauer des 16. Jahrhunderts, in die der nördliche Wehrturm integriert ist, um je zwei Gebinde erweitert. Während der erste Erweiterungsbau aus Bruchstein ebenfalls nur zum Hof ein Fachwerkobergeschoss aufweist, ist das Obergeschoss der zweiten Erweiterung komplett in Fachwerk errichtet worden. Die Fassadengestaltung beider Erweiterungen entspricht hofseitig der vorhandenen Bebauung, nur dass das Erdgeschoss ebenerdig erschlossen ist und die Fachwerkhölzer geringer dimensioniert sind. In jüngerer Zeit ist an der Westseite des mittleren Bauteils eine eingeschossige Remise in Bruchstein angefügt worden. Der älteste Gebäudeteil wurde über einem Gewölbekeller errichtet, der eine ältere Sandsteinsäule einschließt, welche sich im Erdgeschoss vor dem südlichen Rundturm, der im Obergeschoss nur ein Halbschalenturm ist, fortsetzt.
Laut einem Inventar aus dem Jahre 1575 verfügte der Oberhof bereits zu dieser Zeit über fünf beheizbare Wohnräume mit Eisenöfen, ein Turmzimmer, sieben Kammern, eine Knechtekammer, Küche, Schreibstube, Schreiberei, Gefängnis im Turm, Saal, Rüstkammer, zwei Flure, Korn- und Haferspeicher, Keller und Brauerei.
Erweitert wurde der Gebäudekomplex 1699 durch den in Bruchstein errichteten, zweigeschossigen Unterhof, der im Südwesten einen älteren Baubestand von 1677 einschließt. Letzterer ist durch die Inschrift „ANNO 1677 AM 16 IUNII" eines Fenstersturzes datiert. Die unregelmäßig gereihten Fenster sind mit Sandsteinlaibungen versehen und waren an Süd- und Westfassade ursprünglich größtenteils als Zwillingsfenster konzipiert; am nördlichen Ende der Westfassade hat sich eine Toreinfahrt mit einem auf 1699 datierten Schlussstein erhalten. In der östlichen Traufseite befindet sich der über eine Freitreppe erschlossene mittige Eingang. Abbruchkanten an der Nordseite des Baus weisen darauf hin, dass dieser ursprünglich länger gewesen sein muss und, wie der heute überwiegend nicht mehr überbaute Gewölbekeller belegt, bis an die nördliche Wehrmauer heranreichte. Vermutlich zeitgleich mit dem Abbruch erhielt das Gebäude im 18. Jahrhundert ein neues Dach mit Halbwalmen.
Zur Sachgesamtheit gehört auch eine vom Forsthaus Elbrighausen hierher translozierte Fachwerkremise aus stark dimensionierten Hölzern, die östlich der Schlossgebäude platziert ist sowie eine zum Wirtschaftshof gehörige und diesen rückwärtig abschließende, großvolumige, teilweise zweigeschossige Scheune. Der lang gezogene, zum Hof traufständige Fachwerkbau ist aus zwei Teilen unterschiedlichen Alters zusammengesetzt. Der längere rechte Bauteil aus dem 18. Jahrhundert ist stockwerkweise, jedoch ohne Überstände verzimmert und weist an allen Bundständern Mannfiguren auf, deren zusätzlich mit gegenläufigen Fußbändern versehene Streben über zwei Gefache reichen. Zwei unterschiedlich hohe Tore erschließen diesen Bauteil von der Hofseite aus. Links einer Bruchsteinmauer aus jüngerer Zeit schließt firstparallel ein gleichhoher, jedoch eingeschossig als Ständerbau errichteter Fachwerkteil mit hoher Sockelmauer an der Giebelseite, hoher Toreinfahrt und schrägen geschosshohen Streben an. Beide Gebäude zusammen dokumentieren bis heute den Umfang der Wirtschaft des Gutsbetriebes.