Das nach außen schlichte, zweigeschossige Palais wurde im Kern von Conrad Heeser von Lilienthal um 1740 errichtet. Im Jahre 1756 ging das Gebäude an Johann von Pape gen. Papius über, der das Gebäude zu der heutigen Vierflügelanlage um einen rechteckigen Innenhof erweiterte und mit der noch heute in einigen Räumen vorhandenen Ausstattung versah. Gegen Ende des 18. Jahrhunderts ging das Haus an den Freiherrn von Hammerstein über, der wiederum Umbaumaßnahmen vornahm. Im Jahre 1816 wurde das Gebäude an private Eigentümer versteigert und ging 1860 in den Besitz der Stadt Wetzlar über, die hier eine Schule einrichtete. Von 1905 bis 1923 war hier das Lyzeum und von 1923 bis 1938 die katholische Volksschule untergebracht. Während des Zweiten Weltkrieges und in den ersten Jahren danach beherbergte das Haus das Wetzlarer Wirtschaftsamt und in den 50er und 60er Jahren eine kaufmännische Berufsschule. Seit 1967 wird das Gebäude von der Stadt als Museum genutzt. Das großzügige Herrenhaus wendet der Straße eine schlichte, hell verputzte Fassade zu, die lediglich durch eine große, schalsteineingefasste, rundbogige Tordurchfahrt gegliedert ist. Durch diese Durchfahrt erreicht man den Innenhof, der durch die dem Zugang gegenüberliegende Hauptfassade mit ihrem großen, verschieferten Zwerchhaus dominiert wird. Seinen besonderen baukünstlerischen Wert erhält das Gebäude durch seine aufwändige Innenausstattung. Im Treppenhaus und den gartenseitigen Räumen findet man noch mit üppigen Rocaillen versehene Stuckdecken und Türen, deren Füllungen die Rokokoformen der Decken aus der Zeit kurz nach der Mitte des 18. Jahrhunderts wieder aufnehmen. Der große Salon im straßenseitigen Gebäudeteil wurde erst gegen Ende des 18. Jahrhunderts mit Wand- und Deckenstuck versehen. Flache, kanellierte Pilaster mit korinthischen Kapitellen tragen hier ein Gebälk, über dem sich eine Voute mit Eierstab und Palmettenfries befindet. Der Stuck in den anschließenden Eckzimmern nimmt die wenig älteren Formen des Directoire auf.