Neben der häufig vertretenen Annahme einer Errichtung des staufischen Palatiums in der 1. Hälfte des 13. Jhs. als Jagd- und Wohnschloss Kaiser Friedrich II. geht eine andere Theorie von einer Entstehung noch im ausgehenden 12. Jh. unter Friedrich I. aus, der hier 1188 einen Hoftag abhielt. Die Mainfassade des im 13. Jh. als "castrum", im 14. Jh. auch als "keysirhus" oder "rotes Schloss" bezeichneten Baus ohne Wehrcharakter wurde nach Brandzerstörung in die 1462 ausgebaute Stadtmauer einbezogen, 1883 und 1938 freigelegt und ergänzt.

Der rechteckige Quaderbau von 46 und 13 (10) m Kantenlänge aus rotem Mainsandstein ist strategisch günstig am Scheitel eines Mainbogens gelegen. In der Ruine sind die Erdgeschoss-Außenmauern und die Mainfront bis zum Traufgesims des Obergeschosses erhalten. Die Repräsentationsfassade zum Main symmetrisch gegliedert, mit vorgelagertem großem Altan, kleinen Rundbogenfenstern und Eingängen in den gewölbten Vorbauten; über diesen im Obergeschoss zwei Altanpforten, die östliche mit Blattkapitellen und Tympanon, die westliche mit Kleeblattbogen; im Wechsel dazu drei doppelte Blendnischen über zwei- und dreiteiligen Fensterarkaden in differenzierter Gestaltung, teilweise kurz nach der Erbauung verändert. Anhand der Fassadenanordnung kann auf eine innere Raumaufteilung mit Halle und Balkendecke auf Stützen im Erdgeschoss, Fest- und Wohngemächern im Obergeschoss geschlossen werden. Einzelheiten zeigen Verwandtschaft mit Details weiterer örtlicher Bauten, des Romanischen Hauses und der Abteikirche. Kulturdenkmal aus geschichtlichen, künstlerischen, wissenschaftlichen und städtebaulichen Gründen.