Kern und Ursprung der Stadt Frankenberg ist die Burganlage auf dem Felssporn des Burgberges. 1122 fiel diese Burg an die Landgrafen von Thüringen, die von hier ausgehend versuchten, einen eigenen Herrschaftsbezirk aufzubauen. Daher gründeten sie auf Battenberger Gebiet östlich der Burg im frühen 13. Jahrhundert die 1236 erstmals urkundlich erwähnte Siedlung Frankenberg. Diese wuchs in den folgenden Jahren schnell zu einer Stadt heran. 1248 entstand westlich vor der Stadt das Zisterzienserinnenkloster Georgenberg, im folgenden Jahr ist eine erste Brücke über die Eder bezeugt und 1255 verfügte Frankenberg schon über ein Rathaus. 1262 sind große Teile der späteren Stadtmauer bereits vorhanden, 1267 erhält die Stadt ein Wochen- und Jahrmarktprivileg und ab 1286 wurde die Liebfrauenkirche direkt unterhalb der Burg errichtet.Die Altstadt zeigt drei sich nach Osten aneinander reihende Siedlungskerne. Den westlichsten Punkt bildet die auf dem Bergsporn gelegene Burg, an die sich östlich die Kirche und später das Hospital anschließen. Den gesamten Rest der Berglehne bis hinunter in das Edertal bildet der bis 1288 ummauerte bürgerliche Wohnbezirk. Dem in unterschiedliche Richtungen abschüssigen Baugelände folgend wurde ein bis heute weitgehend unverändertes Straßensystem angelegt, das von zwei sehr breiten sich über 180 m von West nach Ost erstreckenden Marktstraßen abzweigt. Den Mittelpunkt bildet der nördliche Rathausvorplatz, an dem die Weinstraße (Steingasse) vorbeiführt. Parallel zu den beiden Märkten wurde im weniger steilen Süden die heutige Untergasse als relativ breite Straße, die vermutlich auch teilweise Marktfunktionen mit übernahm, trassiert. Nördlich des Untermarktes erschließen vier unterschiedlich steil abfallende Gassen den zur Eder gelegenen unteren Teil der Stadt mit der heutigen Dellbrücke und der Ritterstraße. Die östlichste dieser Gassen (Steubergasse, Pferdemarkt, Linnertorstraße)  bildet von Anfang an einen breiten auch als Markt genutzten Riegel, der quer zu den beiden Märkten liegt und die Möglichkeit zur Querung der Stadt vom Linnertor zum Geismarer Tor bietet. Eine weitere Querachse (Auf der Heide) schließt die Stadt nach Osten ab. Östlich dieser breiten Trasse schließen sich nur noch Gärten an, die bis zur Stadtmauer reichten.Die prosperierende Altstadt wurde im Jahre 1476 Opfer eines Stadtbrandes, bei dem bis auf das Steinhaus (Pferdmarkt 20) und Teile der Kirche die gesamte Stadt vernichtet wurde. Wie Gerstenberg in seiner Stadtchronik niederschrieb „da herhub sich leyder eyn gruslich fur in der Mittelgassin, (..) an dem orthuse wan man in die Smiddegassen geen wil. Unde wywole vor keyn wynt enwas, sunder eyn gantz stille heiss tag, ydoch herhub sich der wynt von der Edern herane unde furte das fur uff die anderen husser zu der kirchin wert, so das die stad an vilen enden aneginck. (...) Nu hatte das fur gantz obbirnhant genummen unde brante in allen gassen, so das die husse zusammenvilen in die strasse, das nymants mee gewandern noch gelesschin enkonde. Da kam das fur auch an das raithuss. In demselbin husse hatte die stad ire bussen, pulver, armbruste (...) Unde als das fur darane quam, da gingen sie alle loiss, die kleynen mit den groissen. Derselbin groissin eyne die schoss widder das Steynen huss bei dem Groissin borne unde schoss die mure tzusschin tzween crutzefenstern entzwey. Alsus nam die stad grossin verderplichin schaden uff dem raithusse, (..). Dar quam das fur vorterss, unde nam meistenteil alle gassen in der aldenstad vor.Bynamen verbrante die Mittelgasse, die Stoubegasse. Die Rittergasse, die Asschergasse, die Smiddegasse, die Steyngasse, der Leckerberg, der Paffinberg, der Hinderberg, die Roddenergasse eynteil, der burckberg, der Hepenberg, das Martt, dy Huntgasse die Tichgasse, die Undergasse, die Lynnergasse eynteil, die Hindergasse, unde der Heyde eynteilss na der Geissmarporten wert." Dieser Rückschlag verstärkte die Tendenz des durch die Verlegung der Handelswege schon zuvor zurückgehenden Handels in einem Maße, dass sich die Stadt bis in das späte 19. Jahrhundert nicht mehr davon erholte. Schon für den Wiederaufbau im frühen 16. Jahrhundert waren umfangreiche Zuschüsse aus einer Landeskollekte nötig. Viele private Bauherren waren vollständig verarmt, so dass noch im späten 18. Jahrhundert an einigen Stellen in der Stadt Baulücken bestanden. Noch in der zweiten Hälfte des 19. Jahrhunderts bot die Stadt aufgrund der wirtschaftlichen Stagnation sowie des geringen Bevölkerungs- und Baudruckes genügend Bauflächen innerhalb der Mauern. Allein diesem Umstand ist es zu verdanken, dass sich die Altstadt Frankenbergs heute als nahezu geschlossenes Fachwerkensemble mit Gebäuden aus der Zeit des frühen 16. bis späten 19. Jahrhunderts zeigt.Die ältesten, kurz nach 1500 entstandenen Fachwerkhäuser weisen noch deutlich die Tradition der mittelalterlichen Ständer- oder Geschossbauweise auf. Zwar wurde das seit 1509 errichtete Rathaus als seinerzeit moderner Stockwerksbau verzimmert, doch zeigen andere Häuser noch fast vollständige Ständerbauweise, die lediglich an den Straßenfassaden durch „Scheinstockwerke" ein moderneres Gepräge erhielten. Der sich bald im 16. Jahrhundert durchsetzende giebelständige Stockwerksbau mit hohen Erdgeschossen, Geschossüberkragungen und Mannfiguren als Zier- und Aussteifungsformen wurde in der Stadt sehr lange gepflegt. Noch zu Beginn des 19. Jahrhunderts findet man Vertreter dieses Baustils an vielen Stellen der Altstadt. Seit dem frühen 18. Jahrhundert gesellen sich aber zunehmend traufständige Fachwerkhäuser mit einfacherer Gefügekonstruktion und Zwerchhäusern dazu, die dann im Laufe des 19. Jahrhunderts prägend werden. Ein besonderes Merkmal des Fachwerks in Frankenberg sind die zumeist im 16. Jahrhundert ausgeführten Zierausmauerungen der Gefache mit flachen Ziegeln und eine Vielzahl noch heute erhaltener zweigeschossiger Eckerker, die Kreuzungen und Einmündungen besonders der Hauptstraßen städtebaulich betonen.Die Katastervorbeschreibung aus dem Jahre 1788 nennt noch 77 Scheunen in der Altstadt, die sich vornehmlich in der Schurengasse und der Gadengasse befanden. Von diesen halb städtischen, halb ländlichen Charakter zeigenden Wirtschaftsgebäuden konnten nur wenige bis in unsere Zeit bewahrt werden.Außer den Gebäuden blieb auch die Struktur der Straßen und Parzellen weitgehend erhalten. Lediglich an den ehemaligen Toren verbreiterte man die Trassen seit den 60er Jahren des 20. Jahrhunderts für eine bessere Verkehrsführung. So entstand aus dem früheren Viehmarkt „Auf der Heide" eine heute vielbefahrene Hauptachse der Stadt.