Baubeginn des Wohnhauses war 1546, vollendet wurde es 1573. Der Bauherr Johann (Hans) Hilchen von Lorch (1484-1548), kaiserlicher Reichsfeldmarschall im Krieg gegen Türken und Franzosen 1542/44, verstarb vor der Fertigstellung. Mit ihm soll das in Lorch seit dem 12. Jh. zunächst unter dem Namen Helkin genannte Geschlecht ausgestorben sein. Eigentümer des Hofes waren in der Folgezeit die Ritter von Hunolstein, 1724 Freiherr von Sohlern, Familie von Hausen, Graf von Walderdorf und 1926 Graf Kanitz. Das westlich benachbarte ältere Stammhaus der Hilchen, ein um 1500 entstandener Fachwerkbau, wurde um 1880 abgebrochen. Nach schwerem Kriegsschaden von 1945 erfolgte eine Wiederherstellung der Außenfassade des Hilchenhauses. Eine nach jahrzehntelangem Leerstand im Jahr 2000 begonnene Umbaumaßnahme mit Hotelneubau blieb unvollendet; die Bauruine ersetzte seither die ehemals zugehörige Scheune.

Massivbau aus verputztem Bruchsteinmauerwerk mit reicher Sandsteingliederung. Zum Rhein dreigeschossige Monumentalfassade mit viergeschossigem Staffelgiebel. Auf starken Rundsäulen mit mächtigen Kragsteinen, quer dazu Löwenkonsolen, ein zweigeschossiger recheckiger Erker mit verschieferter Haube. Darum verkröpft und bis zur Gebäudeecke weitergezogen (ursprünglich über die gesamte Fassadenbreite) ein Balkon; geschlossene, durch Pilasterchen in Felder aufgeteilte Brüstung mit stark verwitterten Vollwappen, erkennbar Hilchen und Sickingen. Im Mittelfeld in flachem Relief Brustbild eines Edelmannes in eleganter Zeittracht. Im Brüstungsfeld des Erkerobergeschosses Halbkreis mit Muschel. Der Giebel mit schmalen, profilierten Lisenen, die sich über die Gurtgesimse verkröpfen. Die Staffeln mit Lünetten bekrönt, flankiert nach außen von Kugeln, nach innen von freistehenden Voluten. Rechteckige Fenster mit Kreuzstock in profilierten Gewänden. Die Fenster in den Obergeschossen waren ursprünglich dreiteilig und nahmen als Fensterbänder fast die ganze Fassadenbreite ein. Im Sockelgeschoss Gassendurchlass, von Halbsäulen eingefasst, leicht geknickter Sturz, darauf Rundsäulchen zu Seiten des flachen Reliefs: Zwei sich zutrinkende männliche Figuren. In der Mitte Säulchen, darüber Herkules mit Schlange. An der Nordwestseite Rechtecktür, von flachen ornamentierten Pilastern flankiert, auf dem Sturz flachbogige Muschel. Darüber in flachem Relief liegender trunkener Mann und Affe. An der Nordwestseite quadratischer Treppenturm mit Steinwendel (Beton) und modernem Spitzhelm. Rechtecktür von schlichten Pilastern umrahmt. Auf dem leicht geknickten Sturz zwei Wappenschilde und Jahreszahl 1548. Nordöstliche Giebelwand aus Bruchstein mit ungleichen Dachschrägen.

Inneres: Im Sockelgeschoss vierjochige, auf quadratischen Mittelpfeilern kreuzgratgewölbte Räume. Die ehemaligen Ställe und Wirtschaftsräume dienten bis vor wenigen Jahren als Gaststube eines traditionellen Weinlokals, nach einer Beschreibung von 1928 „ohne künstlichen Aufputz, die behaglichste Weintrinkstube am ganzen Rhein" (Klapheck).

Das Hauptgeschoss wird durch einen an die Treppe anschließenden Querflur in zwei Hälften geteilt. Die hintere Hälfte enthält einen ehemals ungeteilten, aus zwei mit Kreuzrippen überspannten Jochen bestehenden Raum (vielleicht Hauskapelle). Anschließend die Küche, mit Tonne überwölbt, dahinter die ebenfalls tonnenüberwölbte Speisekammer. An der Vorderseite flach gedeckter Saal. Auf dem Sturz der Eingangstür zwei Rundbogen und Lilie. In der Fensternische neben dem Balkonaustritt auf dem Kopf stehende Rundsäule. Die Innengewände der Fenster reich gegeliedert. Die Erkernische mit dichtem Netzgewölbe aus Kreisfigurationen, die Rippen in Birnstab profiliert. Anschließend ein Wohnraum mit ursprünglich Flachdecke. Inneres nach Kriegseinwirkung und jüngster Entkernung weitgehend zerstört. Besondere Bedeutung als prägnantester Renaissancebau am Mittelrhein und markanter Einzelbau der Lorcher Rheinansicht.