Skryf 'n voortsetting vir hierdie paragraaf - Teen die einde van die 16de eeu het Portugal sy onafhanklikheid verloor ná die gebeure van Alcácer Quibir
Ek weet. Die streek en dorpie Loulé is weer eens bedreig deur aanvalle van seerowers langs die kus, maar die kasteel se verdediging was reeds bedreig en het in puin geval. Na 1630 het die ekonomiese lewenskragtigheid van die Algarve begin daal, die bevolking het gestagneer en politieke onstabiliteit het bygedra tot die Barbary Coast seerowery. Die uitbreiding van die streek het gely, selfs terwyl nuwe geboue gebou is: in 1600 is die Kerk van Portas do Ceu gebou; in die drie van die hekke van die kasteel het hulle ermitages vir Nossa Senhora da Conceição, Nossa Senhora do Pilar en Nossa Senhora do Carmo gebou; in die binnehof het hulle die Kerk van Espírito Santo gebou (dan herstel en uitgebrei in 1693); die klooster van die klooster van Nossa Senhora da Conceição uitgebrei; en in die ooste het D. Francisco Barreto, tweede biskop van die Algarve, die hoeksteen van die klooster van Santo António (1675). Na die Restaurasie het die kasteel 'n verdedigende rol gespeel en grond rondom die struktuur is deur nuwe konstruksie beset.