Der älteste Teil des Haupthauses, vormals Zur Krone oder Zur untersten Laube genannt, wird 1577 von Vicedom Georg von Bicken aus bürgerlicher Hand erworben. 1629 verkauft Johann Philipp von Hattstein seine „freindlich Behausung mit allem Zubehör" an Johann Heinrich von Eltz. 1745-50 folgt der Bau des Ostflügels durch Domprobst Hugo Franz von Eltz. 1751 erwirbt Anselm Casimir von Eltz (†1778) den Martinsturm, der im Obergeschoss mit dem Hauptgebäude zusammengezogen wird, und veranlasst eine Bemalung der Giebelfronten, „welche ehedem einfach abgekalkt und durch Quadrirung in Hausroth ausgezeichnet waren". Die „ursprünglich sehr flott behandelte Architekturmalerei" war um 1880 bereits stark verwittert. Für 1752 ist die Errichtung des Kellereibaues überliefert, 1803 kommen als Neuerwerbungen das Haus des Viktorstiftes, 1820 die Stadtmauer mit davorliegendem Weg und 1878 das Haus des Petersstiftes hinzu.

Die ausgedehnte Gebäudegruppe nimmt den mittleren Abschnitt der Eltviller Rheinfront ein. Auf rechteckigem Grundriss grenzen die von Nord nach Süd gerichteten Hauptflügel an Martinsgasse und Rosengasse und sitzen am Rheinufer mit hohen Giebelfronten auf der ehemaligen Stadtmauer auf. Dazwischen liegt erhöht die in flachen Terrassen abgetreppte, zum Rhein hin geöffnete Hoffläche. Alle aus Bruchstein bestehenden Bauten einheitlich verputzt mit Werkteilen aus rotem Sandstein und Schieferdächern.

Der langgestreckte, zweigeschossige Westflügel zeigt spätgotischen Charakter mit Zwerchhäusern und steilen Schild- und Brandgiebeln in Formen des 16. Jhs. An der Rheinfront eine Bogennische mit gemaltem Wappen Eltz. Hier überwiegend gekuppelte Rechteckfenster mit gekehltem Gewände. Hofseitiges Portal mit ovalem Oberlicht, gebrochenem Schweifgiebel und Wappenkartuschen Eltz und Faust von Stromberg, bez. „1744", mit reich geschnitztem Türflügel. An den Erdgeschossfenstern geschmiedete Korbgitter. Unter dem Zwerchhaus Wappentafel von 1629 (Kopie), deren Bauinschrift sich auf den vollen Eigentumserwerb des Hofes durch Johann Heinrich zu Eltz und seine Ehefrau Maria Agnes Holzapfel von Vetzberg bezieht.

Der nördliche Gebäudeteil wurde 1905 nach Vorbild des südlichen neu erbaut.

Im Inneren sind Festsaal und Salon im ersten Obergeschoss mit Stuckdecken im Bandlwerkstil um 1720 und figürlichen Darstellungen geschmückt. Ausstattung mit Mobiliar und Gemälden des 18. und 19. Jhs.

Nördlich anschließend schlichtes Wohnhaus mit Schildwand, massivem Erdgeschoss und verputztem Fachwerkobergeschoss. Den Hof umschließen winkelförmig Wirtschaftsgebäude mit verschiefertem Obergeschoss. An der Westseite des Vorderbaues verbindet eine eiserne Brücke das Wohnhaus über die Martinsgasse mit dem Eltz''schen Garten.

Der Ostflügel umfasst das ehemalige Haus des Viktorstiftes sowie einen dem Westflügel im Umriss etwa entsprechenden Rheintrakt mit Schildgiebel, erbaut um 1600, mit einem 1738 bezeichneten Eisenbalkon wie am Martinsturm. An der Rosengasse segmentbogige Durchfahrt in Sandsteingewände, darüber Verdachung mit Sprenggiebel und Wappenkartusche Eltz. Hoftor mit geschnitzten Flügeln aus der Mitte des 18. Jhs. Hofseitig Portal mit profiliertem Gewände, ovalem Oberlicht, geschweifter Verdachung und Wappenkartusche Eltz; geschnitzte zweiflügelige Haustür, 18. Jh.

Das ehemalige Haus des Viktorstiftes zeichnet sich durch ein Walmdach und Ohrengewände aus. An der Nordostecke auf einer Konsole Figur des Hl. Viktor, Sandstein (Kopie des 19. Jhs. nach barockem Original?). An der Westseite im Hof ein Portal mit Flachbogengiebel. Auf dem Sturz Jahreszahl „1803", im Giebelfeld „1864", davor Tafel mit Allianzwappen Eltz und Boos von Waldeck. An der Südwand Tafel mit Wappen Breidbach sowie Bauinschrift über die Errichtung des Zehnthofes St. Viktor 1718 unter Karl Franz Emmerich von Breidenbach in Bürresheim.

Zwischen den genannten Gebäuden erstreckt sich der zum Rhein von der ehemaligen Stadtmauer begrenzte Hof, dessen unterschiedliche Ebenen durch eine Sandsteinbalustrade getrennt werden. Dazu gehört der alte Baumbestand als prägender Bestandteil der gesamten Rheinfront.