Heinrich von Partschins ließ sich daraufhin auf der Burg nieder und nannte sich fortan wieder „von Annenberg“. 1327 verlieh der Vogt Egno von Matsch seine Hälfte an der Burg zunächst auf acht Jahre an Heinrich von Annenberg.