Vielleicht an der Stelle eines spätestens zu Beginn des 15. Jahrhunderts aufgegebenen Dorf- und Gerichtsplatzes und möglicherweise im Umfeld einer "alten Kirche" war 1543 ein Hof in Bewirtschaftung. 1680 ist dann die Rede vom "ganz wüsten nahe bey Unterschwartz gelegenen, so genanten Rechhoff", mit dessen Wiederaufbau Johann von Schlitz 1680 begann. Es entstand ein herrschaftliches Sommerhaus, und für die Pächter der Ökonomie wurde ein kleines Gebäude mit einer Stube und mehreren Kammern aus Schlitz hierher transloziert. Im August 1682 konnte bereits ein aufwendiges Fest stattfinden, 1683 entstand noch eine steinerne Scheune. 1780 werden Lustschloss, Garten und Allee genannt, wenige Jahre später begann Graf Johann Georg den erneuten Ausbau zum Sommersitz. Aus dieser Zeit stammt ein verputzter zweigeschossiger Wohnbau von sechs zu drei Achsen mit Mansarddach und mittlerem Rokokoportal über zweiläufiger Freitreppe. Im Sockel findet sich außer den Initialen Graf Johann Georgs die Jahreszahl 1784.

Ein größeres Wohnhaus entstand zu Beginn des 19. Jahrhunderts. 1816 als "Schloss" bezeichnet, dürfte es in Anlehnung an einen Plan Gustav Vorherrs erbaut worden sein und stellt eine vereinfachte Version der Hallenburg in Schlitz dar: einen verputzten Rechteckbau mit sieben zu vier Achsen und hohem Mansarddach. Der Baukörper wird gegliedert durch genutete steinsichtige Ecklisenen, ein profiliertes steinernes Kranzgesims sowie ein mittleres Portal in Nach-Rokoko-Formen; die Fenstergewände sind schlicht und rechteckig; Gräfin Elisabeth hatte freilich noch "hübsche Ornamente über Türen und Fenstern" gesehen. Im Inneren blieb das hölzerne Treppenhaus mit Brettbalustern erhalten, ein Nebenraum des Gartensaals ist mit klassizistischen "pompejanischen" Wandmalereien anspruchsvoll ausgestattet. Sie dürften auf eine Idee Graf Carls zurückzuführen und gegen 1849 entstanden sein, als die gräfliche Familie begann, den Richthof als Sommersitz zu nutzen. Der Salon im Obergeschoss war - analog zur Hallenburg - mit einer chinesischen Tapete ausgestattet, die Menschen bei ihren Tätigkeiten zeigt. Sie befindet sich jetzt im Hohhaus-Museum in Lauterbach.

Südöstlich der beiden sich gegenüber stehenden Wohnbauten schließt ein Wirtschaftsgebäude den Hof ab. Es ist ein breiter rechteckiger Massivbau mit Sandsteinsockel, genuteten Lisenen und meist rundbogigen oder auch runden Öffnungen in Sandsteingewänden. Die ambitionierte Gestaltung erfolgte in Anlehnung an das große Wirtschaftsgebäude der Hallenburg in Schlitz; so trägt das Walmdach in der Mitte einen achtseitigen Dachreiter mit Uhr. Das vielleicht schon länger konzipierte Ökonomiegebäude entstand nach einer Bauinschrift 1859 für Graf Carl und wurde nach weiteren Datierungen 1875 und 1938 ergänzt oder repariert.

Ebenfalls im 19. Jahrhundert entstand seitlich des Schlosses als Gästehaus der schlichte rechteckige "Karlsbau", beide sind verbunden durch den eingeschossigen Trakt eines Speisesaals, entstanden für Graf Emil wohl gegen Ende des 19. Jahrhunderts. Hinter dem Karlsbau findet sich noch ein zierlicher Holzstall aus der Zeit um 1900.

Dem Schloss schließt sich nach Nordosten in zwei Stufen ein rudimentär barockisierendes Parterre an, dessen obere Ebene in einer Rasenfläche ein zentrales Wasserbecken aufweist, während die quadratische Fläche der unteren um einen achtseitigen, mit Arabeskenornamentik gestalteten und aus Italien importierten Brunnenstock herum durch ein regelmäßig-geometrisches Wegenetz gegliedert wird und von mächtigen alten Eiben so umstanden ist, dass der Charakter eines "grünen Saals" erreicht wird. Dieser Teil des Parks, im Kern vor der Mitte des 19. Jahrhunderts angelegt, trägt auch die Bezeichnungen Lustgarten oder Sophiengarten - wohl nach der Gattin Graf Emils, Sophia Julia Camilla Gräfin Cavalcanti de Albuquerque de Villeneuve (1858-1902). Nordwestlich setzt sich der Park regelkonform als Englischer Garten fort, dessen Gliederung durch einen Bachlauf mitbestimmt wird. Er geht zur Landstraße hin fast unmerklich in einen von Spazierwegen durchzogenen Laubwald ("Tiergarten") über. Den nördlichen Abschluss der Anlagen bildet das eingeschnittene Tal des Richtgrabens. Er bildete ehemals auch die nördliche Grenze der Grafschaft Schlitz und später des Großherzogtums Hessen. Hier angelegte Teiche stehen nicht in ursprünglichem Zusammenhang mit dem Park. Abschnittsweise erhalten blieb eine "große Lindenallee", die zwischen Schloss und Park von Nordwesten nach Südosten geführt ist und dort über den engeren Schlossbereich hinausführt.

Nach Aufgabe der Hallenburg in Schlitz in der Mitte der 1950er Jahre wurde der Richthof gräflicher Wohnsitz. Seit 1977 wird er von der "Lebensgemeinschaft e.V." genutzt. Gebäude und Park sind aus geschichtlichen und künstlerischen Gründen Kulturdenkmäler.