L'inspection générale de l'administration des affaires culturelles est composée des membres du corps régi par les dispositions du décret du 19 mai 2003 susvisé.
Elle peut s'adjoindre des chargés de mission choisis parmi les membres des corps et emplois classés en catégorie A dont les statuts prévoient des missions d'inspection, de conception ou d'administration ou parmi les membres des corps exerçant une mission juridictionnelle ou scientifique. Les chargés de mission peuvent également être choisis parmi des agents non titulaires de droit public d'un niveau équivalent à la catégorie A. 
 Les chargés de mission sont nommés sur proposition du chef du service de l'inspection générale des affaires culturelles par arrêté du ministre chargé de la culture pour une durée de deux ans renouvelable. Ils concourent aux travaux de l'inspection générale des affaires culturelles sous l'autorité exclusive du chef du service. Ils disposent dans l'exercice de leurs fonctions des mêmes pouvoirs et sont soumis aux mêmes obligations que les membres de l'inspection générale des affaires culturelles.  
Elle est dirigée par un chef du service dont le statut d'emploi est défini par les dispositions du décret du 18 novembre 1998 susvisé.