Der wahrscheinlich älteste noch erhaltene Adelshof von Eltville liegt östlich außerhalb der mittelalterlichen Stadtmauer am Rhein. Als Erbauer oder frühe Eigentümer des Freihofes gelten die Jud von Eltville, deren Familie 1056 in Mainz erwähnt wird. Im 15. Jh. erscheint der Hof als Allod der Münch von Lindau und gelangt 1462 in Besitz der Frei von Dehrn. Auf diese Familie gehen spätgotische und barocke Umbauten und Erweiterungen zurück. Ein um 1645 errichtetes Orangenhaus ist nicht erhalten; ebenso ein um 1707 fertiggestellter, zum Rhein hin gelegener, schlossartiger neuer Wohntrakt sowie eine barocke Gartenanlage zwischen Freihof und Rheingauer Straße. Nach Aussterben der Familie im Mannesstamm 1737 kam der Hof im Erbgang an die Familie Greiffenclau. Um 1840 erwarb Carlomann de Grunne, holländischer Gesandter in Frankfurt, den nun Schloss Rheinberg genannten Besitz und ließ ihn im neugotischen Stil mit Spitzbogenfenstern und Zinnen umbauen sowie das umgebende weitläufige Gelände nach Abriss einer zugehörigen Mühle zum Landschaftspark umgestalten. Im Osten kam ein pavillonartiger Bau mit Türmchen hinzu. 1866 erwarb ein Konsortium Eltviller Bürger das Anwesen und verkaufte es 1873 an die Familie Crass, auf die der heute noch gebräuchliche Name zurückgeht. Die Gastwirtschaft des Carl Crass mit Wohnhaus und Saalbau ging 1914 als Restaurant Burg Crass mit Weinbau und Weinhandel an den Inhaber Jean Iffland über. Ein Restaurant wurde in den 1920er Jahren angebaut, nach 1932 drei (nicht erhaltene) offene Holzhallen aus den Kuranlagen von Bad Schwalbach im Wirtsgarten aufgestellt. Um 1995 erfolgte eine durchgreifende Sanierung mit Anbau eines neuen Restauranttraktes durch die Eltviller Sektkellerei Schloss Vaux.

In dem weiträumigen, von einer Mauer zum Freigässchen und zum Rhein hin begrenzten Gelände liegt der Baukomplex in der Südwestecke parallel zum Fluss, bestehend aus zwei aus Bruchstein errichteten Baukörpern unterschiedlicher Höhe mit verschieferten Satteldächern, einem etwa quadratischen, dreigeschossigen Ostbau und einem zweigeschossigen, rechteckigen Westbau. Im Winkel dazwischen, zum Rhein hin, ein runder Treppenturm.

Ältester Kern ist der romanische Ostbau, ein auf die Zeit um 1096 (d) zurückgehender, ursprünglich wohl dreigeschossiger Wohnturm, zu dem das bauzeitliche Biforenfenster im 1. Obergeschoss des Ostgiebels gehört.

Wenig später wurde der anfangs im Erdgeschoss durch eine Längswand geteilte westliche Saalbau (vergl. Graues Haus in Winkel) angefügt. Aus der Bauzeit stammen Stellen von opus spicatum-Mauerwerk, die ehemals flachere Dachneigung ist innen ablesbar. Unter dem heutigen Putz sind Mauerpartien mit pietra-rasa-Mörtelritzung erhalten.

In einer gotischen Umbauphase erhielt der Westbau 1340/41 (d) ein steileres Dach mit erhöhtem, abgetrepptem Westgiebel. Das Sparrendach mit aufgeblatteten Kehlbalken ist mit modernen Ergänzungen erhalten. Vielleicht im 15. Jh. wurde das Mauerwerk des Obergeschosses im Ostbau durch Fachwerk ersetzt und im Inneren eine Kaminanlage eingebaut, der Dachstuhl um 1562 (d) erneuert. Ebenfalls dem 16. Jh. zuzuordnen ist der ursprünglich niedrigere, runde Treppenturm mit offener Sandsteintreppe ohne Spindel, früher von einem Fachwerk-Obergeschoss mit Welscher Haube bekrönt; außerdem im Inneren des Ostbaues eine Türöffnung mit Eselsrückensturz. In der Außenwand weist eine Sandsteintafel mit Datum „156(5?)" und Initialen „GH IGD" auf Baumaßnahmen hin. Zwei Fenster an der Südseite des Westbaues mit Blenddreipass tragen die Wappenschilde Dehrn und Eltz. Im Inneren des Ostbaus Kellertür mit Gewändeinschrift „1581". An einem früheren Zwischenbau Kellerportal mit Wappen Dehrn und Datum „1584". Unter einer Aussichtsplattform der Terrasse (wiederverwendetes?) Renaissanceportal mit Datum „1577".

Baumaßnahmen der barocken Phase bis 1750 dokumentieren sich außen an reich profilierten Sandstein-Portalen und Veränderungen der inneren Raumaufteilung mit entsprechenden Einbauten. An der Nordseite trägt ein um 1730 entstandenes Türgewände das Allianzwappen von Dehrn/Dahlberg, eine ähnliche Pforte am Freigässchen das Wappen Dehrn. Weitere Anbauten und Nebengebäude des 18. Jhs. wurden weitgehend wieder entfernt. Im Obergeschoss des Ostbaus sind innen barocke Holztüren und -gewände, zum Teil mit Originalbeschlägen, teilweise in Zweitverwendung erhalten, ebenso eine Kaminbekleidung mit Wappenschild Dehrn, um 1711 mit Ofennische. Einige Decken tragen schlichte Stuckleisten des 18. Jhs.

Der Zinnenkranz des Turmes geht wie der östliche Stufengiebel und die Mehrzahl der spitzbogigen, teilweise mit Maßwerk und Buntglas verzierten Fenster auf die neugotischen Umbauphasen ab 1840 und in der 2. Hälfte des 19. Jhs. zurück, ebenso die zinnenbesetzte rheinseitige Mauerbrüstung zwischen früheren Eckbauten. Auch die Stuckverzierung der Decke im erdgeschossigen Saal des Westbaues gehört dieser letzten Phase an.

Reste eines im 19. Jh. in neugotischen Formen errichteten Ökonomiegebäudes an der Mauer zum Freigässchen, ehemalige Stallungen mit Kreuzgewölbe auf gusseisernen Säulen, wurden für die gastronomische Nutzung umgestaltet. Die zugehörige, vom Sülzbach durchflossene Freifläche ist teilweise modern gärtnerisch gestaltet, teilweise als Weinberg kultiviert.

Die Burg Crass ist mit kurfürstlicher Burg und Pfarrkirche wesentlicher Teil der einprägsamen östlichen Stadtsilhouette.