Östlich der Pfarrkirche St. Martin nahm die Burg der Herren von Milchling den gesamten nordwestlichen Teil des Berghanges ein. Vielleicht stand schon im 8./9. Jahrhundert hier eine Königsburg zur Sicherung der Salzquellen und einer Saline. Im 12. Jahrhundert ist die Stadt im Besitz der Herren von Büdingen, die vermutlich die Burg ausbauten. Nach ihrem Aussterben in der Mitte des 13. Jahrhunderts fiel der Besitz als Erbschaft an die Herren von Trimberg und von Hohenlohe-Brauneck, welche Anteile an Hanau versetzten. Zwischen 1313 und 1327 gelang es dem Erzbischof von Mainz, Stadt und Burg Orb zurückzukaufen, verpfändete aber beides dann ebenfalls von 1428 bis 1565 an Hanau. Das erneuerte Steinhaus ging als Lehen 1594 an die Familie von Milchling, seit 1621 war die Burg durch Kauf wieder im Besitz des Erzbischofs. Das leer stehende Wohnhaus wurde als Fruchtspeicher genutzt. Daran anschließend wurde die Zehntscheune gebaut. Die zur Burg gehörige Mühle am Fuß des Berges wurde 1799 abgebrochen und an der Stelle ein neues Kellereigebäude errichtet. 1865 wurden Burg und Zehntscheune an die Firma Oldenkott aus Hanau verkauft, die eine Zigarrenfabrik darin einrichtete. 1935 erwarb die Stadt Bad Orb die Gebäude und verpachtete sie an eine Textilfabrik. In den späten achtziger Jahren des zwanzigsten Jahrhunderts wurden die Gebäude von Grund auf erneuert. In dem ehemaligen Wohnbau befindet sich heute das Stadtmuseum. Als letzter mittelalterlicher Bau der größten Burganlage Orbs ist heute nur noch nur das stark veränderte dreigeschossige, massive Wohnhaus mit romanischen Spolien in den Giebelseiten erhalten. Bickell beschreibt 1901 an dem Gebäude noch "breite Stichbogenblenden mit Karnieskämpfern, zu drei und vier gruppierte Fenster mit profilierten Steinkreuzen umschlossen. An der nördlichen Giebelseite lag ein rechteckiges Treppenhaus, dessen Eingang leider modernisiert ist, sodass Wappen, Datum u.s.w. fehlen. Auch die gesamte Inneneinrichtung ist bei der Einrichtung zu einer Tabakfabrik zerstört worden…" Vermutlich entstand das Wohnhaus durch Umbau aus dem romanischen Saalgeschossbau, die von Bickell beschriebenen Kreuzstockgewände weisen auf die Erneuerung vor 1594 hin. Die wenig zartfühlende Sanierung 1987 beseitigte den alten Treppenturm und ersetzte ihn durch einen überdimensionierten modernen Anbau.