Voltooi die volgende sin: Goewerneur John Hunter het beveel dat 'n fort gebou moet word en Fort Phillip is in 1804 in opdrag van die derde goewerneur van Nieu-Suid-Wallis (in die amp 1800<unk>1806), Philip Gidley King, gedeeltelik as 'n reaksie op eksterne bedreigings soos 'n moontlike Franse aanval in 1803 en gedeeltelik as gevolg van die interne onrus van opstandige gevangenes wat weerspieël word in Australië se enigste groot
veroordeelde opstand by Castle Hill in Maart 1804. Dit is die Slag van Vinegar Hill genoem omdat die meeste van die veroordeelde rebelle Iere was. Windmeulheuwel (later Observatory Hill) is gekies as 'n fortplek omdat dit die hoogste punt bo die kolonie was, wat 'n uitstekende uitsig oor die hawe-benaderings van oos en wes, die rivier en pad na Parramatta, die omliggende land en die hele dorp hieronder bied. Die fort is nooit ten volle voltooi nie en daar is nooit 'n enkele skoot in woede afgevuur nie.