Das Rathaus bildet den Mittelpunkt der regelmäßig bebauten bürgerlichen Stadt Frankenberg. Es erhebt sich an Stelle mehrerer Vorgängerbauten, deren erster 1255 als Theatrum erwähnt wird und 1421 zugunsten eines Neubaus abgebrochen wurde. Dieser Neubau ging schon ein halbes Jahrhundert später beim großen Stadtbrand 1476 zugrunde, so dass die Gemeinde ein neues Rathaus errichten lassen musste. Aufgrund der prekären finanziellen Lage der Stadt konnte der kurz nach 1500 begonnene und 1513 als Rohbau fertiggestellte Bau erst 1572 vollendet werden. Seit 1561 wurden die Nord- und Südseite mit Ziegeln ausgefacht und 1572 war der Turm auf dem Rathaus gedeckt.
Das in den Jahren 1845 bis 1927 und 1950 renovierte Gebäude erhebt sich über dem Sockel seines direkten Vorgängerbaus und wurde als neuzeitlicher Rähmbau über einem hohen Hallengeschoss errichtet. Da dieses Rathaus um wenige Jahre älter ist als das in Alsfeld, stellt es den ältesten Rähmbau in Hessen dar.
Das hohe, durch steile geschosshohe Streben ausgesteifte Hallengeschoss ist von beiden Märkten aus durch hohe spitzbogige Doppeltüren, über denen sich sogenannte Huckepackfiguren und ein Christophorus von Philipp Soldan befinden, erschlossen. Beidseitig der Huckepackfiguren finden sich die Initialen von Philipp Soldan.
Die Huckepackfigur am Obermarkt stellt einen jungen Mann dar, dem ein Dudelsackpfeifer mit Narrenkappe im Nacken sitzt. Die dazugehörige Inschrift heißt: "Ich pyff". Eine Interpretation dazu lautet, dass sich die jungen Leute von Narren leiten lassen und den Ton angeben wollen. Am Untermarkt ist ein älterer, bärtiger Mann, der einem Jüngeren auf dem Rücken sitzt und diesen an den Ohren zieht, dargestellt. Dabei ist folgende Inschrift zu lesen: "ich do myd". Hier ist der Bärtige als Altstädter zu sehen, der dem Neustädter zeigt wo es lang geht. Beide Bildwerke deuten also das Verhältnis von Neustadt zu Altstadt an. Dabei möchte die junge Neustadt den Ton angeben und wird von der Altstadt belehrt, besser auf sie zu hören.
Im Inneren werden die Deckenbalken durch kurze, breite Kopfbänder an den Außenwänden sowie durch einen Längsunterzug mit drei gefasten Ständern, die über Sattelhölzer und Kopfbänder die Deckenbalken tragen, abgestützt.
Das in gleicher Art verzimmerte, weit überkragende Obergeschoss ist an drei Seiten verschiefert und verfügt an den beiden Stirnseiten über zweigeschossige Dreiachtelerker, die an den Gebäudeecken im Dachbereich durch ebensolche Erker mit sehr spitzen Turmhauben flankiert werden. Insgesamt verfügt das Rathaus über zehn Türme, die die zehn Zünfte der Stadt symbolisieren sollen.
An das bestehende Rathaus wurde bis 1535 ein achteckiger Treppenturm angebaut.
