Kaltenborn war Sitz eines der zwölf Förster des Büdiger Waldes. Bei der letzten Erbteilung im Hause Isenburg fiel Kaltenborn mit dem Dorf Haitz im Tausche gegen den Mainzoll von Hofstetten an Graf Georg Albrecht zu Isenburg-Meerholz. Dessen Ehefrau Amalia Henriette geb. Gräfin zu Sayn-Wittgestein-Berleburg nahm 1714/15 Kredite in Höhe von 580fl. (Gulden) auf und ließ den Viehhof bauen. Wegen der hohen Schulden Karl Friedrichs, des älteren Sohnes von Georg Albrecht, kam Kaltenborn unter Zwangsverwaltung des Grafen von Isenburg-Wächtersbach. Das Gut wurde für 600 fl. an Johann Georg Schlegel verpachtet. Den Grafen zu Isenburg-Meerholz wurde im Pachtvertrag das Recht auf Nutzung des Wohnhauses als Jagdhaus ausbedungen. Auf dem Gut wurde eine Ziegelei eingerichtet. Um das Wild nicht zu stören, war der Pächter verpflichtet, nur eine kleinen Hofhund zu halten und ihm einen "Zwerchknittel von  3/4 Elle an drei Ringen ..." umzuhängen (Ackermann, 1999). Seit einigen Jahren ist das Anwesen verkauft. Am südlichen Rand des Büdinger Waldes liegt das alte isenburgische Hofgut Kaltenborn, bestehend aus dem barocken Wohnbau sowie Wohn- und Wirtschaftsgebäuden des 18. Jahrhunderts.

Das älteste Gebäude in Kaltenborn ist das Herrenhaus, ein zweigeschössiger Sandsteinbau, sechsachsig mit Kreuzstockfenstern in profilierten Sansteingewänden, Walmdach.

Rechtwinklig anschließend ein zweigeschössiges Wohnhaus mit massivem, verputztem Erdgeschoss, Sandsteingewänden und Fachwerkobergeschoss unter hohem Satteldach.

Beide Gebäude durch einen Brand im Jahr 2022 beschädigt. Zerstörung des Dachgeschosses des Herrenhauses sowie des Dach- und Fachwerkobergeschosses des Wohnhauses. Die qualitativ wertigen massiven Bauteile beider Gebäude erhalten.

Westlich der Wohnbauten zwei traufständig, leicht versetzt angeordnete Wirtschaftsgebäude in Sandstein mit Fachwerkgiebeln.

Aus historischen Gründen ist das Hofgut Kaltenborn als Sachgesamtheit geschützt.