L'inspection générale de l'architecture et du patrimoine est, sous la direction du chef du service, composée des inspecteurs généraux de l'architecture et du patrimoine et des chargés de mission d'inspection générale de l'architecture et du patrimoine. 
Les inspecteurs généraux de l'architecture et du patrimoine occupent cet emploi en leur qualité d'inspecteurs généraux des monuments historiques en mission extraordinaire ou lorsqu'ils ont été appelés par le ministre à la fonction d'inspecteur général de l'architecture et du patrimoine en leur qualité de conservateur général du patrimoine ou de fonctionnaire ayant au moins quinze ans de service dans la catégorie A. 
Les chargés de mission d'inspection générale de l'architecture et du patrimoine exercent cette fonction pour une durée de trois ans renouvelable et peuvent y être appelés par le ministre sans remplir les conditions définies à l'alinéa précédent. 
Les compétences territoriales ou les missions des inspecteurs généraux et des chargés de mission d'inspection générale sont fixées par le       directeur général des patrimoines sur proposition du chef du service de l'inspection générale.