Die Burg liegt westlich außerhalb des Stadtkerns an der Rheinuferstraße, ursprünglich unmittelbar am Flussufer.

Frühere Vermutungen auf ein römisches Kastell als Ausgangspunkt der Burganlage konnten nicht bestätigt werden. Auch die Rückführung auf einen königlichen Salhof bleibt ohne Nachweis. Neueste Forschungen anhand ergrabener Fundamentpfähle erbrachten ein anzunehmendes Baudatum nach 1044 und vor 1185 für die Nordmauer des Südostbaus. Die Ausbauten der in erzbischöflichen Besitz gelangten Burg zur Vierflügelanlage erfolgten bis ins frühe 13. Jh. Die Burg diente als Zollstätte und zeitweiliger Sitz des Erzbischofs, bis sie mit dem Bau der Burg Ehrenfels um 1210-20 ihre militärische Bedeutung verlor. 1275 im Erblehen der Ritter von Rüdesheim mit dem Lilienwappen, ging sie nach deren Aussterben an die Brömser und verblieb im Besitz dieser Familie bis zu deren Erlöschen um die Mitte des 17. Jhs. Um 1640-42 wurde sie durch die Franzosen teilweise zerstört. Seit 1679 als Lehen an die Familie Metternich vergeben, geriet sie weiter in Verfall, bis sie zu Beginn des 19. Jhs. durch den Herzog von Nassau an die gräfliche Familie von Ingelheim verkauft, von dieser zu einem romantischen Wohnsitz umgestaltet und ab 1813 für interessierte Besucher geöffnet wurde. Als Architekt war möglicherweise Johann Claudius von Lassaulx tätig; für eine Beteiligung des in der Literatur ebenfalls genannten Baumeisters Georg Moller fehlen Nachweise. Die in ihrem Baubestand kaum veränderte, aber durch Gartenanlagen und wohnliche Räume aufgewertete Burg war seither Anziehungspunkt zahlreicher Rheinreisender. Nach Ankauf durch die Stadt Rüdesheim zusammen mit dem Gelände Kreuzgarten 1942 war hier seit 1948 das Heimatmuseum untergebracht, das zum Heimat- und Weinmuseum erweitert wurde

Als Vorgängeranlage konnte ein grabenumwehrter rechteckiger Mauerbering gleicher Ausdehnung rekonstruiert werden, darin Turmbauten in der Nordwest- und Südostecke. Auch wenn die Gräben zeitweise bei Hochwasser unter Wasser standen, handelte es sich nicht um eine Wasserburg. Der Ausbau des 12. Jhs. fand in mehreren Phasen statt. Auf die Errichtung eines im Hof freistehenden Bergfriedes folgte die Erhöhung und Verstärkung des zinnenbewehrten Mauerrings mit allseitiger Anlehnung dreigeschossiger Wohnbauten, und schachtartiger Einengung des Hofes. Aus dem so entstandenen kubischen Bau wurde 1640/42 die Südostecke herausgesprengt. Die nach 1811 zugefügten Ausbauten wurden später teilweise wieder entfernt.

Als schmuckloser, mächtiger, ungegliederter Quader erhebt sich die Burg auf einer Grundfläche von 21 auf 33 Meter. Mauerwerk aus vielfach ausgebessertem Bruchsteinmaterial, die mittelalterlichen Werksteine meist ausgebrochen. Außen und im Hof einige kleine romanische Rundbogenfenster. An der Nordseite ergänzter Rundbogenfries. Die Gebäude bestehen aus Keller und drei Geschossen; die teilweise saalartigen Räume tonnengewölbt, die des dritten Geschosses teilweise kreuzgratgewölbt. Treppen vom Hof ausgehend in den Mauern. Im zweiten Geschoss zwei spätromanische Kamine. Die beiden Türme überragen kaum die Wohnbauten; der Bergfried hohl mit Tonnengewölbe als Abschluss. Im Hof ein gemauerter Ziehbrunnen (siehe Abb. S. 98).

Schon aufgrund ihrer eindrucksvollen Baumasse besitzt die Niederburg für Rüdesheim eine herausragende städtebauliche Bedeutung; darüber hinaus nimmt sie eine Sonderstellung als einziges profanes Bauwerk ihrer Zeit mit gewölbten Räumen in allen Stockwerken ein. Ebenso zeigt die Planung der Erschließung nach militärtechnischen Gesichtspunkten den Stand damaliger Wehrtechnik. Als erste im 19. Jh. ausgebaute und für Reisende geöffnete Burg des Mittelrheintales ist sie besonders für den Aspekt der Rhein- und Burgenromantik von Bedeutung.