Kirjuta selle lõigu jätkamine - kuberner John Hunter käskis ehitada kindluse ja Fort Phillip telliti 1804. aastal kolmanda New South Walesi kuberneri (ametis 1800 <unk> 1806), Philip Gidley Kingi poolt, osaliselt vastuseks välistele ohtudele, nagu võimalik Prantsuse rünnak 1803. aastal ja osaliselt tänu mässuliste vangide sisemistele rahutustele, mis peegeldus Austraalia ainsas suures vangide mässus
Castle Hillis märtsis 1804. Seda kutsuti Vinegar Hill'i lahinguks, kuna enamik mässulisi olid iirlased. Windmill Hill (hiljem Observatory Hill) valiti kindluse asukohaks, kuna see oli kõrgeim punkt koloonia kohal, pakkudes suurepäraseid vaateid sadama lähenemisviisidele idast ja läänest, jõele ja teele Parramatta, ümbritseva maa ja kogu linna all. Kindlus ei olnud kunagi täielikult valmis ja ei ole kunagi tulistanud ühtegi lasku vihasena.