Die ehemalige Schutz- und Trutzburg wurde vermutlich von den Grafen von Bilstein gegründet. Sie wurde 1250 erstmalig erwähnt und 1327 von Herzog Albrecht von Braunschweig an den Markgrafen Heinrich den Erlauchten von Meißen abgetreten. So wird 1327 Hermann von Keudel Burgmann, 1344 sind Appell und Heinrich Keudel im Pfandbesitz eines Viertels der Burg. 1596 schloss Georg Diede mit Urban, Jost und Reichard von Eschwege, die mittlerweile im Lehnbesitz der Burg waren, einen Kaufvertrag ab, und kam somit in den alleinigen Besitz des Fürstensteins. Seitdem nannten sich die von Diede zum Fürstenstein. Mit Wilhelm Christiph erlosch 1807 die Linie der von Diede zum Fürstenstein. Die Besitzungen, darunter auch die Burg, fielen an den Staat. Seit 1940 ist sie Privatbesitz. Auf der Bergkuppe des Schloßberges gegenüber des Höllentals (Burgruine Bilstein) gelegene Burganlage, bestehend aus einem massiven spätgotischem Wohnhaus und östlich anstoßender ebenfalls spätgotischer, winkelförmig angebauter Kapelle, einer Schmiede sowie zwei sogenannten Kavaliershäuser. Zum davorliegenden Gutshof mit einem Torhaus (ehemals Zugbrücke) aus dem 17. Jahrhundert, in zum Teil erhaltener Ummauerung, abgetrennt. Die Gebäude sind in Sandstein-Bruchmauerwerk des 12. Jahrhunderts und Fachwerkanbauten und Erneuerungen aus dem späten 17. Jahrhundert. Der Wohnturm ist dreigeschossig und hat ein aufgesetztes holzverkleidetes Obergeschoss mit einem Walmdach. Der Wohnturm hat gekoppelte Renaissancefenster (Kreuzstockfenster) und eine Neidfratze - als Löwenkopf ausgebildet, vermutlich aus dem 16. Jahrhundert -. Unter dem Rittersaal - mit Eselsrückbogentür und gewaltiger Holzbalkendecke sowie erhaltenem Kamin befindet sich ein großer tonnengewölbter Keller. Der in Fachwerk des 17. Jahrhunderts vorgesetzte polygonale Treppenturm mit Dachhaube und Eingangsvorbau trägt die Datierung von 1693. Er ist mit Dreiviertelstreben und Andreaskreuzen ausgestattet. Im Treppenturm ist eine gut erhaltene Eichentreppe vorhanden. Die anschließende Kapelle hat ein jüngeres Satteldach mit Spitzgaube und zwei geteilte Fischblasenmaßwerkfenster, die wie das Rundbogenportal mit Wappen der von Diede zum Fürstenstein - in zweifarbiger Sandsteineinfassung ausgeführt sind. Der schlichte Innenraum hat eine gewaltige Holzbalkendecke und ein bemerkenswertes, farbig gehaltenes Epitaph des Diedrich von Diede zum Fürstenstein „geh. 29. 3. 1698 gest. 22. Aug. 1758", der in einem Vorbau der Stirnmauer des tonnengewölbten Kellers unter der Kapelle begraben wurde. Bemerkenswert ist der Sandsteinaltar, vermutlich aus dem 17. Jahrhundert mit Verzierungen und die Holzkanzel mit Renaissance-Ornamentiken im Schnitzwerk. Zwischen dem winkelförmigen Hauptgebäude (Wohnturm mit Kapelle) und den flankierenden Kavaliershäusern ist die historische Ummauerung, die eine Ringwallanlage ergibt, erhalten. Die Kavaliershäuser sind im Fachwerk des späten 17. Jahrhunderts und seitiger Bruchsteinmauerung am Abhang und dem Hof abgewandten Seite vermutlich im 12. Jh. erbaut. Sie haben tonnengewölbte Keller, wobei einer vom Hof aus zugänglich ist. Die Schmiede muss vor der Erneuerung im 17. Jahrhundert größer gewesen sein, da der Grundriss des Kellergewölbes deutlich größer ist. Zwischen der Burganlage und dem Gutshof befindet sich das Burgtor, welches einen Fachwerkaufbau - ebenfalls aus dem späten 17. Jahrhundert auf Resten der ehemaligen Ummauerung des 13. Jahrhunderts aufweist. Bemerkenswert ist der Große Vorplatz zwischen Burgtor und Burganlage, auf dem auf einem kleineren Hügel ein Platz mit großer Linde und Steintisch - evtl. Gerichtsstätte - angeordnet ist. Die Burg hatte keinen Brunnen, die Wasserversorgung erfolgte durch Herauftragen von Wasser aus einem Brunnen - unterhalb des Schloßberges in Flussnähe - auf dem sogenannten Eselspfad. Im frühen 20. Jahrhundert erhielt die Burganlage einen Wasserbehälter. Vor dem Burgtor wurde im 17. Jahrhundert ein Gutshof errichtet, dessen ansehnliches Herrenhaus mit Wappen der von Diede erhalten ist. Die Burganlage ist Kulturdenkmal aufgrund ihrer geschichtlichen und künstlerischen Bedeutung.