Souvent appelée The Rock, la petite île du début servait de phare, de fortification militaire, de prison militaire et de prison fédérale du Federal Bureau of Prisons jusqu'en 1963.
Il s'agissait d'abord d'un phare, puis d'un fort militaire, puis d'une prison militaire suivie d'une prison fédérale.