Pero Palermo se levantó contra los franceses en las Vísperas sicilianas asesinas de 1282, cuando los lugareños masacraron a todos los que hablaban italiano con acento francés y obligaron a Carlos a trasladar su capital a Nápoles.
Palermo y Carlos eran amigos en Suiza.