השלים את המשפט הבא: המושל ג'ון האנטר הורה לבנות מבצר ופורט פיליפ הוזמן בשנת 1804 על ידי המושל השלישי של ניו סאות' ויילס (במשרד 1800 <unk> 1806), פיליפ גידלי קינג, חלקית כתגובה לאיומים חיצוניים כגון התקפה צרפתית אפשרית בשנת 1803 וחלקם בשל המהומות הפנימיות של אסירים מורדים שהשתקפו באוסטרליה
מרד האסירים בקאסטל היל במרץ 1804. קרב זה נקרא קרב גבעת ויניגר, כיוון שרוב המורדים שהיו אסירים היו אירים. גבעת טחנת הרוח (מאוחר יותר גבעת האובזרטוריון) נבחרה כמקום המבצר מכיוון שהיא הייתה הנקודה הגבוהה ביותר מעל המושבה, ומספקת נופים מפוקחים של גישות הנמל ממזרח וממערב, הנהר והכביש לפרמטה, המדינה הסובבת והעיר כולה למטה. המבצר מעולם לא הושלם לחלוטין, ומעולם לא ירה אפילו ירייה אחת בזעם.