Der Karlsberg über einem tief eingeschnittenen Seitental war ähnlich wie der Webersberg schon im 18. Jahrhundert ein beliebter Aussichts- und Ruheplatz auf dem Rundweg über die Lahnberge um die Stadt. 1811 errichtete der Fürstl. Oberforstmeister August von Bibra hier in Pisé einen oktogonalen, zweistöckigen Pavillon mit einem flachgeschweiften Haubendach. Bald danach kamen die hohen Seitenflügel und um 1920 noch zwei weitere, erdgeschossige Anbauten hinzu. Der kleine Salon im Obergeschoss besitzt weitgehend seine alte Ausstattung mit einer Stuckdecke. Das Haus befand sich lange Zeit im Besitz der v. Dungern, die auf dem Karlsberg einen ausgedehnten, heute verschwundenen Landschaftspark anlegten.

Als frühes Beispiel des Lehmstampfbaues ist das Teehaus auch von architekturgeschichtlichem Interesse.