1630 trat Graf Johann Ludwig zum katholischen Glauben über. Im gleichen Jahr gründeten die Jesuiten mit seiner Unterstützung ein Kollegium, das in den ehemals Langenbachschen Hof einzog. 1753-57 entstand daraus die repräsentative Dreiflügelanlage mit offenem Ehrenhof und der Kirche als Nordügel (südlicher Anbau erst nach 1900). Architekt war der Laienbruder Franz Pfister. Die Nähe und Zuordnung zum Hauptschloss bringt die Bedeutung des Ordens für die Residenz zum Ausdruck. 1764 wurde noch ein eigener Gymnasiumsbau errichtet (Franziskanerplatz 2). Die Kirche ist seit 1818 Pfarrkirche.

Pfarrkirche: Großer Saalbau mit Pilastergliederung und einem Haubendachreiter. 1898 wurde der Westturm aufgesetzt anstelle des klassizistischen Fassadenabschlusses sowie ein größerer, neugotischer Chor angefügt.

Den Innenraum gliedert eine Lisenen- und Gebälkordnung. Die breite Kehle und die Spiegeldecke sind mit stuckierten Rokoko-Kartuschen besetzt. Zwei Deckengemälde stellen das Martyrium des Hl. Johann von Nepomuk und die Himmelfahrt Mariens dar. Aus der Bauzeit stammen der Hochaltar und die Seitenaltäre von Joh. Theodor Thüringer und evtl. auch Martin Volk. Die Kanzel (1762), der Orgelprospekt und die Beichtstühle kommen aus der Werkstatt von Joh. Georg Mayer.

Die dreistöckigen Kollegiumsflügel (heute Gemeindehaus) haben Mansardwalmdächer und schlichte Segmentbogenfenster, die Kirche ein Walmdach und Rundbogenfenster. An den Stirnseiten abgerundete Ecken, Pilaster und Vortreppen (Wappen). Der Ostflügel enthält ein barockes Treppenhaus mit Deckengemälde und einen turmähnlichen Baurest des Langenbach-Hofes. Zu diesem gehörte wohl auch die den alten Pfarrgarten abschließende Bruchsteinmauer mit ihrem Spitzbogentor.