Auf dem höchsten Punkt des am Berghang gelegenen Dorfes steht die einst wehrhafte, jetzt nur noch teilweise ummauerte Pfarrkirche. Die der hl. Maria geweihte Kirche war Mutterkirche der ab 1323 selbständigen Pfarrei in Allendorf. Es handelt sich um eine frühgotische Chorturmanlage aus der zweiten Hälfte des 13. Jahrhunderts. Die Kirche, die wahrscheinlich einen Vorgängerbau hatte, wurde in mindestens fünf Bauphasen verändert. Ältester Teil ist der auf quadratischem Grundriss erbaute Turm mit seinem pyramidal aufsteigenden Zeltdach. Während sein zweiteiliges, rundbogig gefasstes Spitzbogenfenster an der Südseite noch aus der Erbauungszeit stammt, wurden die vorkragende Südgaube und die Turmspitze vermutlich erst im 17. Jahrhundert hinzugefügt. Das mit einem Dreipass versehene, schlanke Chorfenster entstammt ebenso dem 14. Jahrhundert wie das auf kleinen Konsolen ruhende Kreuzrippengewölbe des Chores und der Chorbogen. Im Laufe des 15. Jahrhunderts fügte man an der Nordseite des Turmes eine gewölbte Sakristei an. Auch das Kirchenschiff wurde mehrfach verändert. So finden sich an der Südfassade Fenster des 13., 17., 18. und 20. Jahrhunderts, die Tür auf der Südseite entstammt dem 15. Jahrhundert, der Sturzstein des Westportals trägt die Jahreszahl 1723. Wohl der wichtigste Eingriff in die mittelalterliche Bausubstanz erfolgte durch einen Umbau in den Jahren 1906-1908, bei dem das früher schmale und niedrige Schiff erhöht und nach Norden um annähernd seine alte Breite erweitert wurde. Die Langhausausstattung mit Holztonnengewölbe, Empore und Orgel mit neubarockem Prospekt entstammt dieser Zeit. Die Kanzel von 1654 in späten Renaissanceformen ist erhalten.

Zusammen mit den Mauern und drei barocken Grabsteinen aus rotem Sandstein, die sich in der Südwestecke des Friedhofes in der Nähe des Eingangs befinden, ist die ortsbildprägende, weithin sichtbare Kirche aus geschichtlichen, künstlerischen und städtebaulichen Gründen Kulturdenkmal.