Apor halálát követően Rezi vára és az ahhoz tartozó birtok visszaszállt a királyra, azonban a XIV. század elején – a trónért folytatott harcok korszakában – a Kőszegi nemzetség fegyveresei szállták meg azt. 1321-ben Köcski Sándor szentmártoni (mai Pannonhalma) várnagy, I. Károly király seregvezére ostrommal vette be Rezit, az erősséget először egy 1333-as – Uzsa falu határjárásával kapcsolatos – dokumentumban említik castri Rezy néven, mint királyi birtokot. 1342-ben I. Károly Rezi mellé megszerezte Tátika várát is, ezzel biztosítva a zágrábi út felügyeletét.