Le changement ou le retrait de l'affectation à un architecte en chef des monuments historiques, d'un ou plusieurs monuments historiques ou de la circonscription mentionnés au II de l'article 3, peuvent être prononcés par arrêté du ministre chargé de la culture, pris dans l'intérêt du service ou à la demande de l'intéressé, après avis de la commission administrative paritaire. 
Par dérogation à l'article 12 du décret n° 82-452 du 28 mai 1982 susvisé, les avis rendus par la commission administrative paritaire sur ces arrêtés d'affectation et sur ceux mentionnés au II de l'article 3 dispensent de la consultation du  comité technique compétent. 
L'architecte en chef des monuments historiques dont la situation fait l'objet d'un des avis mentionnés à l'alinéa précédent ne peut prendre part aux délibérations de la commission administrative paritaire lorsque celle-ci est appelée à délibérer sur les décisions qui le concernent.