(2) 부족한 인력규모
특임장관의 역학구조에서 살펴보았듯이, 특임장관실은 대통령비서실, 국무총리실, 각종 행정부처, 지방자치단체, 그리고 이들을 모두 아울러서 국회와 정당을 상대해야 하는 막대한 임무를 부여받고 있다. 그런데 특임장관실은 이러한 업무 이외에 대통령 및 국무총리가 명한 업무를 수행하도록 정하고 있다. 즉, 대규모 국책사업에 대한 업무를 수행하도록 한 것이다. 이러한 점은 과거 제1정무장관과 제2정무장관으로 구분하여 수행하던 업무를 동시에 수행하도록 하는 것이라는 점에서 차이가 있는 것이며, 관할하는 업무의 양이 엄청나게 증가하게 된 것이다.
과거 김영삼 정부시절 여성 관련 업무만을 담당했던 제2정무장관실의 인력이 51명이었다. 그러나 현재의 특임장관실은 과거에 비하여 상당히 많은 업무를 수행해야 함에도 불구하고 정원이 41명으로 정해져 있다. 이는 현재의 특임장관실의 인력규모가 매우 부족하다는 문제점을 발생시킨다.