Место замка Карисбрук могло быть заселено еще в доримские времена.
Позже замок был случайной резиденцией губернатора острова Уайт и стал домом для принцессы Беатрис, младшей дочери королевы Виктории, когда она была губернатором.