See ehitati 1760. aastatel Briti vägede poolt ümber varasema Hispaania kindluse, "Castell de Sant Felipi", mis oli asutatud umbes 1554. aastal. See on kõige paremini tuntud oma ebaõnnestunud kaitse eest kaks korda Briti poolt: Fort St Philip'i piiramisel (1756).
ja 1781. aasta Minorca sissetung. Pärast viimast sündmust purustati lossi osaliselt.