Zaland püspök ebben az új rezidenciájában hunyta le örökre a szemét 1262-ben, kapzsi rokonsága azonnal rátelepedett a várbirtokra, amit csak később kapott vissza az egyházmegye. A XIV. század első éveiben megszállta a Kőszegi nemzetség, tőlük Anjou Károly szerezte vissza az 1321-es hadjáratában.