L'association "Patrimoine maritime et fluvial" peut engager la procédure de retrait du label lorsque le bateau bénéficiant du label a subi des modifications propres à remettre en cause les motifs ayant conduit à l'attribution du label au vu des critères prévus à l'article 8 du présent décret. 
Le retrait du label entraîne le paiement du droit annuel de francisation et de navigation, pour l'année en cours et les années suivantes. 
S'il est établi qu'au cours de la période de labellisation les conditions ayant permis l'attribution du label n'ont pas été respectées, le droit annuel de francisation et de navigation est exigible pour les années où ces conditions n'ont pas été respectées.