Ulmenstein beschreibt das großvolumige Gebäude als ein "Anfang des 18. Jahrhunderts ganz neu aus Mauerwerk erbautes Haus, mit Hof und Nebengebäuden und Vorplatz". Der Kammergerichtsassessor Franz von Papius hat das Gebäude um einen Innenhof herum um 1760 errichten lassen. Bis 1774 lebte hier der Visitations-Kommissar Freiherr von Erthal, der spätere Bischof von Würzburg und Bamberg. Am Ende des 18. Jahrhunderts bewohnte es der Kammergerichtspräsident von Seckendorff. Nach der Auflösung des Kammergerichts ging das Haus an die Familie von Avemann über, deren Namen das Haus bis heute trägt. Seit 1836 waren verschiedene Schulen in dem Gebäude untergebracht, das heute das Kammergerichtsmuseum beherbergt. Das massive, zweigeschossige Gebäude ist auf einem zur Hofstatt abfallenden Eckgrundstück zwischen Hofstatt, Kornblumengasse und Rosengasse errichtet worden. Es zeigt sich heute in einer schlichten Putzoptik, die nur von profilierten Fensterrahmen aus jüngerer Zeit gegliedert ist. Auf dem verschieferten Walmdach erheben sich zur Rosengasse und Hofstatt große Zwerchhäuser mit Dreiecksgiebeln, die von profilierten Giebelgesimsen gerahmt werden. Von der ehemals aufwändigen Innenausstattung sind noch zwei Stuckdecken und das Haupttreppenhaus erhalten.