Pálosokat 1478-ban Kinizsi Pál telepített az akkoriban mezővárosnak kikiáltott Vázsony területére, az itteni kolostorukat pedig Kinizsi apósa, a fekete sereg hadvezére, Magyar Balázs alapította pár évvel később a sűrű bakonyi rengetegben, melyre egy korabeli dokumentum a “csend honaként” tesz szép, leíró utalást. A monda úgy tartja, hogy Kinizsi egyik török foglyáért fizetett váltságdíjból épült meg a szentély. Azt is beszélik, hogy az alapítók elsősorban családi temetkezési helynek szánták az épületet.
A török konfliktusok hatására a kolostor a 16. század derekára elnéptelenedett, későbbi sorsára pedig a veszprémi vár ideiglenes bukása nyomta rá a bélyegét 1543-ban. Hogy az ellenség kezére ne kerülhessen erődítményként, így megannyi környékbeli sorstársával együtt robbantották fel.
Pusztulása után a használható köveket először a 16-17. században, a vázsonyi vár építéséhez, majd később, a 18. században a falu házainak építéséhez hordták el. Mivel a településtől viszonylag messze helyezkedett el, így rekonstrukciója helyett a helyi közösség egy új, barokk stílusú plébániatemplom létrehozása mellett döntött a centrumban. A romok védett műemléknek minősülnek, amely részleges állagmegóváson 1960-ban esett át.