Par la suite, ses deux plus jeunes enfants sont confinés dans le château, et la princesse Elizabeth y meurt, la plus récente étant la maison de la princesse Béatrice, fille de la reine Victoria, en tant que gouverneur de l'île de Wight, de 1896 à 1944.
Plus tard, le château est la résidence occasionnelle du gouverneur de l'île de Wight et il devient la résidence de la princesse Béatrice, la plus jeune fille de la reine Victoria, lorsqu'elle est gouverneur.