Im Jahr 960 existierte im "castellum" Michelstadt ein steinernes Haus, das der Lorscher Abt Gerbodo (951-972) errichtet hatte. Mit diesem ersten festen Haus ist die sogenannte "Kellerei" sicher nicht identisch, doch handelt es sich um eine stauferzeitliche Burganlage, die die Schenken von Erbach als Vögte der Lorscher Propstei Steinbach im 12./13. Jahrhundert errichtet haben. 1307 im Verlauf der Streitigkeiten um das Lorscher Erbe vom Pfalzgrafen Rudolf geschleift, wurde die Burg seit 1321 von den Schenken unter pfälzischer Lehenshoheit wieder aufgebaut. Den Namen "Kellerei" (Sitz des gräflichen Amtskellers) gibt es seit dem frühen 16. Jahrhundert.

In ihrem heutigen Bestand ist die Burg eine stattliche Baugruppe des 16./17. Jahrhunderts, die damals aus einer Gruppe von Einzelbauten um einen geräumigen Binnenhof vereinheitlichend zusammengefaßt wurde.

Der Hauptbau im Süden, wohl der "Palas", der mit seiner Rückseite auf der Stadtmauer steht, besteht aus drei Teilen verschiedenen Alters, die unter einem Dach vereinigt sind. Der Mitteltrakt, 1506 datiert, enthält im Untergeschoß einen massiven tonnengewölbten Raum, vielleicht ehemals ein freistehender Turm des 14. Jahrhunderts, der sich in einem großen (heute vermauerten) Spitzbogen zum Hof öffnete. Das Fachwerk des frühen 16. Jahrhunderts zeigt gebogene, überkreuzte Streben, die den Eck- und Bundstielen aufgeblattet sind. Die seitlichen Trakte sind im 17. und 18. Jahrhundert angefügt worden. Der mächtige Steinbau im Westen, ein fester Speicherbau mit hohem Kellergewölbe und Stufengiebel, wurde 1517 (Inschrift im Nordgiebel) errichtet. Die große zweiläufige Freitreppe mit überdachtem Podest zeigt das Allianzwappen Erbach/Pfalz und das Datum 1539. Das Gebäude beherbergt nach umfänglichen Baumaßnahmen in den letzten Jahren heute das Odenwald-Museum. Der Nordflügel der Kellerei, dessen Sockelmauerwerk im Norden nach Meinung einiger Historiker aus dem 8. Jahrhundert, nach der Ansicht anderer aus der Zeit um 1400 stammen soll, zeigt an den Ecken des massiven Untergeschosses Bossenquader wie der Mitteltrakt des Wohnbaus. Das Gebäude wurde nach Inschriften 1549 und 1621 umgebaut und diente als Oberamtssitz der Grafschaft. Das Obergeschoß des langgestreckten Amtshauses besteht aus gutem Renaissance-Fachwerk. Jüngster Bestandteil der Gebäudegruppe ist eine steinerne Remise im Osten des Hofes, in deren Westwand ein Stück der alten Stadtmauer steckt. Davor steht ein Laufbrunnen des 19. Jahrhunderts mit gußeisernem Stock und Sandsteintrog. Der runde Mauerturm westlich der Burg, der sogenannte "Diebsturm", dessen Fachwerkaufsatz eine moderne Rekonstruktion (1973) ist, gehörte möglicherweise ursprünglich ebenfalls zum Burgbereich.