GAO werd in 1921 opgericht als gevolg van de Budget and Accounting Act, een wet die was ontworpen om de financiële controle en het beheer van de overheid na de Eerste Wereldoorlog te verbeteren. Oorlogsbestedingen hadden de nationale schuld verhoogd, de kosten voor veel overheidsinkopen verhoogd en aanzienlijke wanorde veroorzaakt in de financiële operaties van het Ministerie van Oorlog en andere instanties.
De GAO is ontwikkeld als gevolg van de Wet op de begroting en de boekhouding.