Varjaskér már a honfoglalás idején is lakott volt. Első említései 13. és 14. századi dokumentumokban, többek között egy pápai tizedjegyzékben olvashatók előbb Ker, majd Keér alakban. A jegyzékből kiderül, hogy a templom ebben az időben már létezett, papja pedig harminc-negyven kisdénárt fizetett évente az egyháznak adó gyanánt.
Annyi bizonyos, hogy az épület 1536-ban még egyben volt, de egy 1736-os irat már romos állapotáról emlékszik meg, amely arra enged következtetni, hogy pusztulását, nem egyedülálló módon, a török hódoltság évei okozták. “Varjaskéren a falun kívül, de ahhoz közel hatalmas, romos elhagyott egyház áll, toronnyal” – írja a Canonica Visitatio 1743-ban.
A török konfliktusok után az elnéptelenedett falu lakosságát horvátok és illyrek betelepítésével pótolták szlovén területekről. A falu határában, a temető mellett az egykori templomból ma már csak nyugati homlokzatának téglafala áll. A környéken zajlott amatőr régészeti ásatások során egy bronzból öntött Krisztus szobor és több mozaiktöredék került elő a ’60-as években.