Der große, annähernd in rechteckiger Form angelegte Park spätmittelalterlichen Ursprungs ist einschließlich seiner Umfassungsmauer bereits auf einer Ansicht von 1615 (Staatsarchiv Würzburg) als geometrisch angelegter "Gräflich Löwensteinischer Lustgarten" abgebildet. Im Volksmund hieß der Park später "Kloster" oder "Tiergarten", weil hier der Waldhüter der Herrschaft Breuberg in Volieren und Gehegen seltene Waldtiere (Wölfe) gehalten haben soll. 1856 gründete der Mainzer Bischof Freiherr von Ketteler - dank einer Erbschaft der Fürstin Sophie von Löwenstein - das Waisenhaus für Mädchen St. Marien, seit 1945 Alters- und Erholungsheim des Bistums Mainz (wenige Jahre später eröffnete von Ketteler in Klein-Zimmern auch ein Waisenhaus für Knaben). Der Miltenberger Architekt Sylvester Stockh (1774-1855) entwarf eine große Vierflügelanlage, deren südöstlich orientierter Hauptbau durch neugotische Treppengiebel geschmückt ist. Im Südwesten schließt sich eine Kapelle in gotischem Stil an.

Im ehemaligen Park erinnert nur noch wenig an die fürstliche Vergangenheit: ein spätgotisches Portal (16. Jahrhundert) in der Westmauer, ein eingemauertes gotisches Bildstockgehäuse im Süden der Einfriedung sowie vereinzelte Reste barocker Gartenausstattung aus Sandstein. Das Eingangstor und die in der Ecke liegende Kapellengrotte entstammen dagegen der Mitte des 19. Jahrhunderts.