Wirtheim entwickelte sich als Haufendorf auf polygonalem Grundriss im Kinzigtal westlich des Verkehrsknotenpunktes der alten Leipziger Handelsstraße und der von Süden kommenden Straße aus dem Spessart. Die Leipziger Straße zieht von West nach Ost durch Wirtheim hindurch. Das Zentrum des alten Ortskerns mit der Kirche liegt zwischen der Hauptverkehrsstraße und der Kinzig. Nach seiner Erhebung zur Stadt wurde der Ort ummauert. Der Mauerring ist heute noch zum größten Teil sichtbar.Die beiden Tore, das Obertor im Westen und das Untertor am östlichen Ende, sind verschwunden. Im Osten, Norden und Westen sind sowohl der Stadtgraben als auch der Wall noch gut erkennbar, ein Ring aus langen Gartengrundstücken im ehemaligen Stadtgraben legt sich außerhalb um den Mauerring.

Im Westen führte der Zugang zur Stadt am Lauter''schen bzw. Forstmeister''schen Schloss vorbei, das möglicherweise als befestigtes Torhaus im 15. Jahrhundert gebaut wurde. Durch die im Schloss ansässige Adelsfamilie wurde die Straße kontrolliert, die für den Handel und Kriegszüge von Bedeutung war und besonders während der napoleonischen Kriege eine nachhaltige Rolle spielte. Von der Reisetätigkeit, die sich auf der Straße entfaltete, zeugen die drei Gasthöfe, die sich direkt dort (Zur Krone, Zum Löwen) oder in der Nähe befinden (Marktplatz 4, früher "Zum Schwan“, heute Bauernschenke). Besonders das breit gelagerte, leider stark modernisierte Gasthaus "Zum Löwen“ prägt mit seinem barocken, hohen Mansarddach das Straßenbild. Die Bebauung innerhalb des Stadtmauerberings verdichtete sich wie in allen vergleichbar eng begrenzten Orten. Markant im Ortszentrum das Ensemble Kirche (14.-20. Jahrhundert) mit Marktplatz, ehem. Schule, Pfarrhof und erneuertem Backhaus. Die Seitenstraßen werden geprägt von Hofreiten in Form von Einhäusern auf schmalen Parzellen (Erbsengasse, Neugasse, Poststraße) und Hakenhofreiten (beides Kirchstraße). Die Bebauung stammt im Kern aus der ersten Hälfte des 18. Jahrhunderts Die Grundstücke sind kaum größer als die Hauseinheiten.

Viele isoliert stehende Scheunen des 18./19. Jahrhunderts, teils komplett aus Sandsteinquadern oder mit Fachwerkgiebeln, großen Einfahrtstoren und Krüppelwalmdach (Schulscheune, Erbsengasse 20, 22, Frankfurter Straße 26 und 51, Kasseler Straße 1 und 10) wurden aufgrund der engen Hofparzellen außerhalb des zugehörigen Hofes später auf freiwerdenden Grundstücken errichtet. Das Material soll überwiegend von der im Osten teilweise abgebrochenen Stadtmauer stammen.

Zur Gesamtanlage zählen:

Stadtmauerring mit Schalentürmen (KD) und Grüngürtel im ehemaligen Stadtgraben, der teilweise als Mauer sichtbar oder in Außenmauern von Häusern enthalten ist.

Bebauung innerhalb der mittelalterlichen Stadtmauer:

Erbsengasse

1, 3, 5, 7, 9, 11, 13 (KD), 15

2 (KD), 4,6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 28a, 30, 32, 34, 36

Frankfurter Straße

27, 29, 31, 33, 35, 37, 39, 41, 43, 45, 47, 49, 51

12, 14, 16 (KD), 18, 20, 22, 24, 26 (KD), 28, 30, 32 (KD), 34, 36, 38, 40, 42, 44, 46, 48

Meilenstein o.Nr.

Kasseler Straße

1(KD), 3, 5, 7, 9, 11

2, 4, 6, 8, 10, 12, 14, 16, 18, 20 (KD), 22 (KD), 24, 26

Kirchstraße

1, 3, 5, 7, 9, 11, 13, 15, 17

2, 4, 6, 6a, 8, 10 (KD), 12, 14, 16, 18, 20, 22, 24, 26, 28, 30 (KD), 32 (KD), 34, 36, 38, 40, 42 (KD), 44, 46 (KD), 46a, 48, 50

ohne Nr. Kath. Kirche (KD)

Marktplatz

1, 3, 5

1/2 (KD), 3, 4 (KD), 6

Neugasse

2, 4 (KD), 6, 8, 10

Poststraße

1, 3, 5, 7,9

2 (KD), 4, 6, 8, 10, 12

Schlosshof

1/2 (KD), 3, 5(KD)