Auf dem ehemaligen Gelände der zerstörten Altstadt zwischen Holzstraße und Kaplaneigasse wurde am dritten April 1964 das neue Bürgerhaus mit Volkshochschule, Bibliothek und großem Saal eingeweiht. Schon seit 1958 bemühte sich die Stadt um den Bau eines Bürgerhauses, das sowohl der städtischen Repräsentation als auch der Volksbildung dienen sollte. Der 1959 realisierte Entwurf wurde unter Beratung des Wiener Architekten Franz Schuster vom Hochbau- und Maschinenamt entwickelt. Vor diesem Projekt war Schuster bereits mit seinem "Meisterbau Kinderwelt" von 1953 in Darmstadt tätig. Benannt wurde der Bau nach dem in der Kaplaneigasse geborenen Begründer der organischen Chemie, Justus Liebig.

Der aus Kuben komponierte, zwei- bis dreigeschossige Baukörper ist mit Natursteinplatten verkleidet, das Flachdach mit Kupferblech gedeckt. Er ist in seiner Architektursprache zurückhaltend modern und funktional. Die Fenster sind der jeweiligen Nutzung angepasst und variieren deshalb in Größe und Form. Den Nutzungen entsprechend ist das Gebäude in drei Trakte geteilt: In dem höheren Mittelbau, der zum Platz hin großzügig verglast ist, befindet sich die große gemeinsame Eingangshalle für Bibliothek und Volkshochschule und im ersten Obergeschoss der Veranstaltungssaal. Die Vortrags-, Kurs- und Werkräume der Volkshochschule befinden sich im nordwestlichen Trakt. Sie bilden sich nach außen hin mit großen Klassenfenstern ab. Der niedrigere Trakt entlang der Kaplaneigasse enthält die Bibliothek. Die beiden Flügelbauten schieben sich etwas nach vorne, sodass ein kleiner Vorhof gebildet wird. Der zeittypische Innenausbau wurde von Günter Henning gestaltet und ist zum großen Teil bis heute gut erhalten. Hierzu gehören die unterschiedlichen Natursteinböden, die Holzverkleidung im großen Saal, die Türen und einige der Beleuchtungskörper. Auch die Treppenhäuser mit ihren zweifarbigen Granit-Marmor-Stufen und dem filigranen Treppengeländer aus Metallstäben sind erhalten geblieben. Da das Bürgerhaus Treffpunkt kultureller Geselligkeit sein sollte, gestaltete Günter Henning die gemeinsame Eingangshalle mit vielen kommunikativen Aufenthalts- und Sitzbereichen.

Die Gestaltung der Grünflächen übernahm der Ulmer Landschaftsarchitekt Günther Grzimek. Im November 1962 stellte man auf den großen Platz vor dem Haupteingang die Plastik "der große Tanzschritt" von Giacomo Manzu, 1985 die Plastik "Handfüßler" von Michael Schwarz auf.

1994 wurde das Gebäude durch einen Erweiterungsbau für die Bibliothek von dem Architekten Michael Kleinert ergänzt.

Das Gebäude steht aus künstlerischen und städtebaulichen Gründen unter Denkmalschutz.