Un camp de base du chantier est alors créé sur l'île d'Oléron , Boyardville . Le chantier évolue au rythme des marrées , à marrée haute on immerge des pierres , à marrée basse on débarque des ouvriers pour qu'ils agencent les pierres et les solidarisent . Autre problème , les canons français ne peuvent protéger le chantier des attaques ennemies . Mais le problème majeur , ce sont les forces de la nature . L'hiver les tempêtes frappent le chantier et dispersent les roches qui forment l'enrochement artificiel . Le chantier ressemble au mythe de Sisyphe et voit passer de nombreux ingénieurs , architectes , ouvriers , etc . En 1808 , près de 7 ans après le début de chantier , Napoléon se rend sur place et constate les difficultés de ce projet titanesque . Il réduit alors de moitié la taille du fort . Le chantier reprend mais en 1809 , les Anglais attaquent et réduisent à néant les espoirs de Napoléon de terminer le Fort Boyard . L'idée du Fort boyard ne tombe pas dans l'oubli , en 1841 sous le règne du souverain Louis-Philippe , le chantier reprend . On construit , sur les bases de 1809 , des murets avec des sacs de ciment hydraulique , afin de former des caissons que l'on remplit ensuite de chaux et de béton hydraulique . Cette structure qui dépasse de 2m lors des marrées hautes , est ensuite renforcée par deux ceintures pierres . Louis-Philippe est finalement renversé par Napoléon III qui décide de poursuivre ce chantier sur lequel plus de 300 ouvriers se relaient jour et nuit . Le rez-de-chaussée est achevé en 1852 , le premier étage en 1854 , le deuxième étage en 1855 et la terrasse du fort en 1857 . Mais Fort Boyard ne recevra jamais les 74 cannons prévus . En 1913 , la maintenance du fort est abandonnée , c'était un gouffre financier . Fort Boyard est mort avant d'avoir pu exister . Le 28 mai 1962 , le fort est vendu aux enchères par un dentiste belge . En 1988 , Jacques Antoine un producteur français rachète le fort et le donne pour un euro symbolique à la Charente Maritime .