이에 대한 반대론은 대통령과 국회의 다수당의 당적이 다를 경우에 감사원은 항상 정쟁의 소용돌이에 있게 될 것이라고 우려한 다. 행정부와 국회의 대립이 있을 경우 행정부로부터 감사에 필요한 정보나 자료의 수집에 어려움이 발생할 수 있으며, 이 경우 감사원이 가지는 능률을 기대하기 쉽지 않다는 것이다. 또한, 감사결과 등 제반조치가 행정부에 의하여 받아들여지지 않을 가능성에 대한 우려가 있다는 점도 감사원 국회 소속을 반대하는 논거이다. 미국의 경우 회계검사기능이 입법부 소속의 회계검사원에 귀속되어 미국 행정기관들이 연방정부회계기준과 관련하여 회계검사원(GAO)의 기준보다 행정부 내부의 기준을 따르는 경우가 많아서 회계검사원의 기준이 유명무실해지는 경우가 있다는 비판도 있다. 미국, 영국, 오스트리아, 호주, 뉴질랜드, 핀란드, 헝가리, 멕시코, 이스라엘 등이 감사원을 의회소속으로 하고 있다.