1563 ließ sich Adolf Hermann Riedesel in Stockhausen die sogenannte Hermannsburg errichten, mit der er sich offensichtlich aus der Ganerbschaft der Riedesel lösen wollte. Der Bau entstand vermutlich südwestlich unterhalb der Kirche nahe der Altfell, wenige Meter westlich des bestehenden Schlosses, und dürfte nicht ohne gestalterischen Anspruch gewesen sein. Die zeittypische Kombination aus Stein und Fachwerk, in den Grundzügen vielleicht ähnlich dem Neuen Schloss in Gießen, war aber schon vor dem Tod Hermanns 1582 teilweise baufällig geworden und wurde bis 1599 von den Erben restauriert. Weitere Nachrichten fehlen. Nach dem Aussterben der Hermannsburger Linie der Riedesel 1756 gelangte die Hermannsburg an die Linie Burg (Lauterbach). Für Friedrich Georg Riedesel wurde 1770 der Neubau des Schlosses begonnen, mit der Planung beauftragt war Georg Koch, der soeben die Stadtkirche in Lauterbach vollendet hatte. Es entstand zunächst die nördliche Hälfte des bestehenden Schlossbaus mit dem nördlichen Querflügel. Diese Anlage zeigt in der Frontalansicht mit mittlerem Balkon und seitlichen Rundfenstern im Erdgeschoss eine Symmetrie, die möglicherweise auf ein ursprünglich anderes, vielleicht bescheideneres Baukonzept schließen lässt. Erst zu Beginn des 19. Jahrhunderts wurde das Schloss durch seine südliche Hälfte ergänzt. Der gesamte Bau ist zweigeschossig über einem den leichten Geländeabfall ausgleichenden Sockel errichtet. Die Hauptfassade ist 25 Fensterachsen breit, akzentuierend wirkt ein schmaler dreigeschossiger Mittelbau mit Tordurchfahrt, der wie Ecklisenen, Gurtgesims und Sockel steinsichtig geblieben ist. Den Mittelbau zeichnet eine reichere plastische Ausgestaltung der Fenstergewände aus. Dazu erscheinen Reliefs (Kanne und Füllhorn als Fruchtbarkeitszeichen oder rurale Sinnbilder, Freimaurersymbolik) und im Giebeldreieck das Allianzwappen des Erbmarschalls Johann Conrad Riedesel und der Reichsgräfin Luise Charlotte von Heyden-Hompesch sowie die Jahreszahl 1801. Der neun Achsen breite Nordflügel der Schlossanlage hatte im Untergeschoss Remisen, die zum Innenhof hin durch Rundbogentore, nach außen durch querovale Fenster geöffnet sind. Vom Obergeschoss führt an der Stirnseite eine ausschwingende Freitreppe auf die obere Terrasse des Gartens. Entsprechend hat der Südflügel später zum Garten hin einen offenen Vorbau mit zierlichen Gusseisenelementen erhalten. Der Nordabschnitt des Haupttrakts hat zwei Eingänge vom Innenhof, die wie das Tor der Durchfahrt und das aus der Durchfahrt in den Südflügel führende Portal mit schönen klassizistischen Türen geschlossen werden. Den gesamten Schlossbau deckt ein Mansarddach, nur über den flachen Giebeln des schmalen Mittelbaus sitzt ein Satteldach. Ludwig Boclo sah Schloss und Park Stockhausen im Nachsommer 1813: "In dieser rauen, wilden Gegend, wo man so etwas gar nicht ahnet, ein so schönes, im edelsten Style erbauetes Schloß zu erblicken, thut eine Wirkung, die ausserordentlich ist. Man glaubt sich in eine Feenwelt versetzt, und hält das Schloß mit seinem herrlichen Garten für die Schöpfung einer Fee." Dieser Garten oder Park wird vom rückwärtigen Schlosshof durch einen Eisenzaun begrenzt, dessen Sandsteinpfosten mit Pinienzapfen besetzt sind. Die Anlage selbst geht in ihren Grundzügen vielleicht in die Zeit der Hermannsburg zurück, hat jedoch im mittleren 18. und beginnenden 19. Jahrhundert ihre anspruchsvolle und im Wesentlichen noch erkennbare Ausgestaltung erhalten. Sie breitet sich westlich und südlich des Schlosses, zu dem sie aber kaum einen echten axialen Bezug aufnimmt. Vielmehr steigt der Garten quer zur Schlossachse aus der Aue an der Altfell in zwei Stufen nach Norden an, wo er durch eine 1754 aufgeführte, mit Nischen ausgebildete Mauer in Fortsetzung des Nordflügels des Schlosses begrenzt wird. Die obere der Terrassen war 1792 mit Obstbäumen bestanden, die runden Mauernischen boten zwischen Spalieren geschützten Platz für empfindliche Pflanzen, vielleicht Weinstöcke oder Feigen. Im Westen schloss sich ein Treibhaus beziehungsweise eine Orangerie an. Das 1810 hier neu entstandene Gewächshaus, von dem ein Rest der Front erhalten blieb, folgte dem älteren Bau. Es gehörte "zu den vorzüglichsten", die der genannte Boclo je gesehen hatte, und mit Erstaunen zählte er die Vielzahl der dort gehaltenen exotischen Pflanzen auf. Das sehr wertvolle, bereits gefährdete Haus, Ausdruck der über einige Jahrzehnte anhaltenden sehr hohen Bedeutung der Gartenkultur und der Schlossgärtnerei in Stockhausen, wurde 1978 durch einen Panzer zerstört, der von der Straße abkam und in das Schlossgelände stürzte. Die mittlere Ebene des Gartens, zu der von der oberen eine 1792 anscheinend noch nicht vorhandene zweiläufige Treppe herunterführt, umfasste ein Parterre mit symmetrischem Wegenetz und einem mittleren Wasserbecken, das von der Flächengestaltung allein übrig geblieben ist. Putten und Vasen akzentuieren die untere, das Parterre vom tiefer liegenden ursprünglichen "Gemiesland" trennende Futtermauer, durch die zwei Treppenanlagen hinabführen. Die also ihrer 1792 verwendeten Bezeichnung nach ursprünglich als Küchengarten dienende untere Ebene des Gartens hatte ebenfalls ein zentrales Bassin und eine regelmäßige Wegeführung und schloss nach Süden mit dem noch bestehenden rechteckigen Teich ab. Den beiden unteren Gartenebenen folgt im Westen ein "Englisch Bouschquet", dessen südlicher Abschnitt mit einem hexagonalen Borkenhäuschen, ebenfalls bereits im Plan von 1792 als "Eremitage" an dieser Stelle eingetragen, recht gut erhalten blieb. Ein "holländisches Gartenhaus" als Entsprechung der Eremitage in der Fortsetzung der Längsachse des Parterres ist ver-loren. Im Osten begrenzt ein vom Südflügel des Schlosses ausgehender Hainbuchengang die untere Gartenebene. Im Norden und Westen blieben wesentliche Teile der den Park begrenzenden Umfassungsmauern mit Toren von 1754 erhalten. Bis 1985 im Besitz der Riedesel zu Eisenbach, gehören Schloss und Park ebenso wie der benachbarte Gutshof Müser Straße 3 heute der Gemeinschaft für Heilpädagogik und Sozialtherapie e.V. und haben so eine neue Nutzung gefunden.