Die 1662 erstmals erwähnte jüdische Gemeinde Wehrheims unterhielt spätestens seit dem 18. Jahrhundert eine Synagoge, die in einem Haus an der Hauptstraße und, wie es heißt, in einer schlichten Kammer untergebracht war. Vermutlich hatte sich in dortiger Liegenschaft auch eines der drei in Wehrheim bezeugten Ritualbäder befunden. In der 2. Hälfte des 19. Jahrhunderts erfolgte der Umzug ins Haus Hirsch, nachdem dieses zwecks Einrichtung der Schule um den giebelständig zur Straße vortretenden Fachwerkanbau erweitert worden war. An die ehemalige Nutzungsform des Gebäudes erinnert heute lediglich noch ein kleines Kellerfenster mit doppeltem Davidstern.