Voltooi die volgende sin: 'n Geweerligging is in 1801 tydens die Napoleontiese oorloë op Middle Head (noord van Obeliskbaai) gebou, asook nog een by Georges Head. Fort Phillip is ook gebou om te beskerm teen 'n moontlike Franse inval in 1804, sowel as na die
Castle Hill veroordeel rebellie dieselfde jaar. Meer permanente vestings is gedurende die eerste helfte van die 19de eeu gebou in reaksie op gevreesde buitelandse aanvalle met nuwe bedreigings vir die Britse Ryk, insluitend Napoleon se Franse troepe in 1810 en die Russiese Stille Oseaanvloot in die 1850's (tydens die Krim-oorlog). Intussen het twee Amerikaanse oorlogskepe (sloop van oorlog "Peacock" en sloop van oorlog "Vincennes") die hawe sonder aankondiging op 30 November 1839 onder die dekmantel van die duisternis binnegekom. Alhoewel dit net 'n hoflikheidsbesoek was, het die geleentheid die nedersetting se kwesbaarheid vir aanvalle getoon en die bewustheid van sy isolasie en rykdom beklemtoon. Garden Island het versterkings gebou in die 1820's, terwyl Bradleys Head in 1840 begin bou het. Die konstruksie van Fort Denison het in 1841 begin, hoewel die fort eers in 1857 voltooi is.