Das Anwesen Woogtalstraße 1/3 war ab 1467 Sitz der von Graf Eberhard III. von Eppstein zwecks ordnungsgemäßer Verwaltung von Kirchengut, Stiftungsgeldern, Überwachung der Glaubensausübung und Erteilung von Schulunterricht nach Königstein geholten Kugelherrn, Brüder einer 1340 als Reformbewegung in Deventer gegründeten christlichen Genossenschaft, die sich mit Schulen, Kopistentätigkeit und später dem Druck von Büchern große Verdienste um die Volksbildung erwarb. Zu ihrer Versorgung war bereits im Jahr zuvor die Errichtung eines Kollegiatsstift eingeleitet worden, in welches die zur Kollegiatskirche umgewandelte Pfarrkirche mit sämtlichen Einkünften, Liegenschaften und Pfründen eingebracht wurde. Das Stift bestand bis zur Reformation 1540.

Zum Bau ihres Stiftsgebäudes (Grundsteinlegung 23. März 1465) war den Kugelherrn ein freies Grundstück der Vorburg zugewiesen worden, das in nächster Nähe zur Kollegiatskirche (Kugelherrnstraße 4) und nur wenige Schritte entfernt zum Schulhaus (Karlstraße 2) lag. Auf der einen Seite verlief die Stadtmauer, auf der die nordöstliche Traufwand zu stehen kam, und auf der anderen der Erschließungsweg (Verlängerung Berggasse). Mit zum Anwesen gehörten – wie bei Merian dargestellt – zwei Rundtürme: im einen wurde die 1467 geweihte und die Inschrift „AVE MARIA GRATIA PLENA DOMINUS TECUM“ tragende Kugelhaus-Glocke geläutet (1655 im „Alten Rathaus“ installiert) und im anderen die 1470 von Hans Neidthart in Frankfurt gegossene Glocke (1540 in die „Kapelle im Tal“ überführt, 1881 zersprungen). Beim Beschuss der Stadt 1631 ging das Haus größtenteils seines Obergeschosses verlustig. Nach 1646 war es vorübergehend Sitz der Kapuziner. Nach Abbruch 1682 von ihm geblieben ist das Kellergewölbe (14,4 x 7,8 m); noch sich abzeichnend am heutigen Bau der ehemalige Treppenturm.