Der Friedhof wurde nach dem Dreißigjährigen Krieg am ehemals südöstlichen Stadtrand, heute an einem Hang unmittelbar oberhalb der Wildunger Straße gelegen, eingerichtet und bis 1830 auch von den jüdischen Gemeinden Vöhl und anderer Nachbarorte belegt. 1833 war der Friedhof zu klein geworden, wurde auf 1406 m² erweitert und mit einer Hecke eingefriedet.  Noch bis 1869 sind hier auch Juden aus Frankenberg und Altenlotheim bestattet worden. Die letzten Beisetzungen fanden 1934 statt. Der Friedhof  umfasst heute noch 34 Steine aus der Zeit seit dem frühen 20. Jahrhundert. Die zumeist einfachen Grabsteine zeigen an den Vorderseiten hebräische Inschriften, die in vereinfachter Form auf den Rückseiten in lateinischer Schrift wiederholt wurden. Die meisten sind mit einfachen Verdachungen mit geschwungenen Giebeln bekrönt.