A vár a két fent említett települést összekötő út mellett, a Csiga-hegyen (régi, német nevén Schlossberg) épült valamikor a 13. század második felében feltehetőleg Csák Péter vagy esetleg II. Demeter megbízásából. A név csalóka lehet, mivel valójában a hermelinre, mint állat (mustela erminea) utal, amelyet akkoriban hölgynek vagy hölgymenyétnek neveztek.
Első írásos emléke egy 1310-es keltezésű oklevél, amely az akkor aktuális várnagyot, Laki János fiát, Hektort is említi. Egy 1321-es dokumentum Heugku-ként hivatkozik az erődre, várnagya ekkor pedig már egy bizonyos Zuszkur mester volt. A tisztséget később egy László mester nevű illető viselte, majd Fónyi Balázs is betöltötte a pozíciót (a győri és bakonyi ispáni címmel egyetemben). A vár ekkor került be az úgynevezett erdőispánsági rendszer „vérkeringésébe”.
I. Lajos uralkodása idején már a terület királyi tulajdonba került. Az uralkodó 1364-ben azonban a közeli Torna-patak völgyében kolostort emeltetett Szent Mihály arkangyal tiszteletére. Hölgykő várát leromboltatta, hogy annak köveiből épülhessen meg a monostor, a környező területeket pedig a karthauzi szerzetesek számára ajánlotta fel.