La mauvaise position politique de son héritier, le frondeur Paul de Gondi recherché par le Roi, n'arrange rien. 
Finalement, Paul de Gondi est forcé de vendre le terrain au surintendant des Finances Nicolas Fouquet pour la somme d'un million quatre cent mille livres. 
Belle-Île-en-Mer, par sa position isolée du continent, sert plusieurs fois de refuge à des opposants au Roi : à Paul de Gondi, cardinal persécuté par le Roi et Mazarin, mais également en 1573 par Gabriel Ier de Montgomery, un chef protestant.