L'emplacement du premier établissement européen en Australie, le port a continué de jouer un rôle clé dans l'histoire et le développement de Sydney.
Du côté nord du port de Sydney, vivait la tribu Cammeraygal.