Grabungen förderten Scherbenfunde zu Tage, die die Entstehung der Burg in das 11. Jahrhundert datieren. Sie diente den Herren von Itter bis zu ihrem Aussterben 1356 als Wohnsitz. Das der eigentlichen Burg vorgelagerte Löwensteinische Haus kam durch Gertrud, die Tochter Heinrichs von Itter, an ihren Mann Werner von Löwenstein, der es 1258 dem Erzbischof von Köln öffnete. Um 1355 wird das Löwensteinische Haus schon als gebrochen bezeichnet und verfiel seither.Vom 14. bis zur Mitte des 16. Jahrhunderts bewohnten die Wolf von Gudenberg, die die Herrschaft Itter von Hessen und Waldeck zu Lehen hielten, die Hauptburg. Seit dem dritten Viertel des 16. Jahrhunderts war die Burg unbewohnt und verfiel mehr und mehr. Seit 1587 war sie alleiniger Besitz des Landgrafen von Hessen. In einem hessischen Inventar der Herrschaft Itter aus dem Jahre 1645 wird die Itterburg nicht mehr erwähnt, war also wohl weitgehend verfallen, obwohl sie um 1600 mit Türmen und Erkern noch größtenteils erhalten war. Sie bestand aus drei Baukomplexen: Der Hauptburg, dem Löwensteinischen Haus und der Steuerburg genannten Vorburg, die alle drei auf einem schmalen Berggrat bei Thalitter lagen. In Stichen erscheint die Burg als Winkelbau zweier Haupthäuser mit Giebeln und Türmen. Der Burghof war mit einer niedrigen Mauer umgeben, an deren Ecken sich Rundtürme befanden. Besonders während der Zeit des Bergbaus dienten die Mauern der Burg den Bürgern Thalitters als Steinbruch. Die Ruinen blieben Teil des Thalitterschen Rittergutes, bis sie 1951 von der Gemeinde erworben wurden. 1903, 1978 und 1987 wurden die wenigen noch vorhandenen Reste saniert.Erhalten blieben von der Burg einige Stützmauern, diverse Mauerstücke sowie der Rest eines Turmes, an dessen Innenseite sich ein Kamin abzeichnet.