Das für die Entstehungszeit sehr große, seit der Barockzeit geteilte und verputzte Fachwerkhaus wendet seine sechsachsige Traufseite zu der zum Burgberg ansteigenden Bergstraße. Zweigeschossige, rasterhafte Rähm-Stockwerkskonstruktion von 1469 (d) mit eng stehenden Stielen und überblatteten Riegeln sowie wandhohen Streben zur Sicherung der Ecken. Über dem 5,50 m hohen Erdgeschoss erhob sich das um zwei Meter niedrigere, einzeln abgezimmerte Obergeschoss, welches auf allen Seiten einige wenige Zentimeter vorkragte, wie es trotz der heutigen Verputzung auf der linken Hausseite ablesbar ist. Auch der freiliegende Nordgiebel zeigt noch seine eine spätmittelalterliche Konstruktion mit einer mittigen Dachfirstsäule sowie vor- und hinterblatteten Riegeln. Nur der nördliche Hausteil besitzt einen wohl vom Vorgängerbau übernommenen Keller, während Bergstraße 3 nicht unterkellert ist. Eingangstür Nr. 5 der Zeit um 1800 mit Zahnschnittfries.

1402 befand sich ein Vorgängerbau in Händen der in Limburg begüterten Schöffenfamilie von Nauheim. Johann von Nauheim, Besitzer des Anwesens ab 1463, ist somit als Erbauer des heutigen Hauses anzusprechen. Gegen 1525 gelangte es an Meffert von Brambach, dessen Erben es bis in den Dreißigjährigen Krieg innehatten. 1684 bis 1730 sowie ab 1750 bis heute geteilt. Hierbei wurde das ursprüngliche Satteldach über der Haushälfte Nr. 3 durch ein barockes Mansarddach ersetzt, die Unterteilung des hohen Erdgeschosses erfolgte wahrscheinlich schon früher. Im Erdgeschoss der Haushälfte Nr. 3 ursprünglich ovale Stuckrahmendecken. Sanierung der nördlichen Haushälfte Bergstraße 5, 2002 der anderen Hälfte. Das heute eher unspektakuläre Äußere verbirgt einen für die Stadtgeschichte wichtigen Adelsbau mit einer bauhistorisch interessanten Konstruktion des späteren 15. Jahrhunderts.