Der Walderdorffer Hof entstand an Stelle einer mittelalterlichen Anlage, die bei ihrer Ersterwähnung 1435 im Besitz des Otto Eschenauer, danach in der Ruppels von Heringen war. Durch Heirat gelangte sie an das Adelsgeschlecht derer zu Diez. Durch die Verbindung Evas von Diez mit Philipp von Walderdorff kam der Besitz gegen 1540 an den Limburger Zweig der Familie, die 1660 in den Freiherrn- und 1767 in den Grafenstand erhoben wurde. Wilderich von Walderdorff, späterer Fürstbischof von Wien, und Johann Philipp von Walderdorff, Domdekan und Bistumsverweser in Trier, entschlossen sich, den alten, schon baufälligen Hof durch Zukauf einiger Parzellen nach Südwesten hin zu erweitern und erheblich auszubauen, wobei dessen spätmittelalterlicher Wohnturm sowie verschiedene Kellerräume in die neue Baugruppe einbezogen wurden. Zumeist italienische Bauleute, die Johann Philipp 1660 beim Bau seines Mainzer Hofes beschäftigt hatte, wurden zur Ausführung der Arbeiten gewählt: die Bauplanung hatte der italienische Festungsbaumeister von Mainz Antonio Rigi inne, die Bauaufsicht Bartolomeo Banizo, die Bauausführung der Steinmetzmeister Giovano Angelo Barella sowie der Maurermeister Johann Maus aus Limburg. Die Baukosten betrugen laut den erhaltenen Rechnungen die immense Summe von 13.575 fl sowie 166 1/2 Malter Korn.
Der Walderdorffer Hof ist der größte und bedeutendste der Limburger Adelssitze. In den Jahren von 1665 bis 1668 entstand eine malerische Anlage der Wende der Spätrenaissance zum Frühbarock mit einem Vierflügelbau um einen Binnenhof mit offenen Arkaden, an dessen Nordseite sich ein Wirtschaftshof mit Stallungen und Scheunen anschließt. An der Straßenfront, die gegenüber der ehemaligen Brotschirn liegt, sind zwei große Portale zu diesen beiden Höfen eingelassen. Das Tor zum Wohnhof besitzt eine repräsentative Rahmung mit Rustikapilastern und gesprengtem Dreiecksgiebel, welche mit dem Wappen der Bauherrn und einer lateinischen Bauinschrift geschmückt ist, die in der Übersetzung lautet:
„Dieses Haus, das durch die Unbill und Ungunst der Zeiten sowie der Kriege einzustürzen drohte, haben Urgroßvater, Großvater, Vater und Kinder bewohnt. Damit es die Brüder und Neffen wieder bewohnen können, hat es Herr Wilderich Freiherr von Walderdorff, der Heiligen Kaiserlichen Majestät Hofrat, des Heiligen Römischen Reiches Vizekanzler, der erzbischöflichen Kirche zu Mainz sowie der Bischofkathedralen zu Würzburg und Speyer Propst bzw. Kapitularkanoniker, auf eigene Kosten von Grund auf neu errichten lassen. Die Arbeit und Bauleitung übernahm Herr Johann Philipp, Archidiakon von Sankt Lubentius in Dietkirchen, Herr auf Isenburg und Molsberg."
Hauptschmuck der langen, sonst schlichten Straßenfassade an der Fahr- sowie der Löhrgasse sind die beiden Kastenerker in ihrer wiederhergestellten Originalfarbigkeit, die erst während der achtziger Jahre des 17. Jahrhunderts dem vorhandenen Bauten angefügt wurden: Der östliche ist bezeichnet „1681" und zeigt im Brüstungsfeld zwei Putti, die das Walderdorffer Wappen mit dem nach rechts steigenden Löwen präsentieren, die seitlichen Felder sind mit Medaillons mit antikisierenden Kriegerbüsten besetzt. Der etwas jüngere, „1686" bezeichnete Erker zur Löhrgasse gehört zum Fachwerkobergeschoss des nordwestlichen Wirtschaftsgebäudes und ist gleichfalls mit dem Wappen der von Walderdorff geschmückt.
Der Wohnhof wird von zwei schmaleren Flügeln mit hohen Korbbogenarkaden flankiert, hinter denen zwei offene hölzerne Spindeltreppen mit Brettbalustern die Obergeschosse erschließen. Das Repräsentations- und Wohnzentrum war der großvolumige, dreigeschossige Nordwestflügel mit gekuppelten Fenstern mit schlicht profilierten Werksteingewänden. Eine massive doppelläufige Treppe unter stuckierten Kreuzgratgewölben führt zu den oberen Geschossen. Bemerkenswert ist das massiv gemauerte Muldengewölbe im Obergeschoss.
Das mächtige, dreifach unterteilte Dach mit hohen Standgauben und die Haubenlaterne des sich nördlich anschließenden, im Kern spätmittelalterlichen Turmes, welche die Stadtsilhouette bis heute entscheidend prägen, fertigte 1666 der Zimmermeister Peter Widerholt für 160 Reichstaler, 4 Malter Korn und 6 Ohm Bier, die Dachdeckerarbeiten übernahm Meister Arnt Lindig. Zum Abschluss erhielt 1667 der Turmhelm eine 3 m lange Fahnenstange mit einem kupfernen Marienbild und einem Knopf, in den man eine lateinische Widmung und eine Bleikapsel mit Reliquien legte.
Der von zweigeschossigen Stall-, Remisen und Scheunenbauten umschlossene Wirtschaftshof ist ebenfalls noch durch ein erbauungszeitliches Portal mit Holztor zugänglich. Die gesamte Straßenfront ist in den unteren Bereichen massiv gemauert, hier könnten ebenfalls noch mittelalterliche Bebauungsteile erhalten sein.
Der nordwestliche Eckbereich der ummauerten Hofanlage war mit einem Haus mit Stall bebaut, welches 1518 dem Limburger Schultheißen Johann Staudt gehörte. Dessen Erben verkauften es 1559 an Eva von Diez, die hier ein Brauhaus einrichtete. Aufgrund der erhaltenen Bauformen wurde es bei den Bauarbeiten 1665-68 umfassend renoviert oder völlig neu errichtet. Es entstand das heutige Wirtschaftsgebäude mit großem korbbogigen Tor (Walderdorffer Wappen im Schlussstein), dessen Geschoss auf Hofniveau hauptsächlich als Stall, der südliche, gewölbte Raum wohl als Vorratskammer genutzt wurde. Das untere Stockwerk mit Kreuzgewölbe, welches auch direkt von der Löhrgasse zugänglich war, diente gegen Ende des 19. Jahrhunderts als Schmiedewerkstatt.
1959 erste Sanierung des baufälligen und teilweise eingestürzten Hauptgebäudes. Der Besitz verblieb in der Familie Walderdorff bis 1989, danach vom neuen Eigentümer umfassend saniert und modernisiert.
Die repräsentative Vierflügelanlage mit angrenzendem Wirtschaftshof ist als der architektonisch und regionalgeschichtlich bedeutendste Adelshof der Stadt anzusprechen. Mit seiner schweren, teilweise harten Formensprache steht er an der Wende von der Spätrenaissance zum Frühbarock - noch schließt er sich fast wehrhaft mit hohen Mauern von den umgebenden Straßenzügen ab. Das hohe, durch viele Gauben gegliederte Dach sowie der stattliche Turm sind unverkennbare Wahrzeichen im Weichbild Limburgs.
