1950ndatel hakkasid vasakpoolsed lauljad nagu Paul Robeson ja The Weavers leidma, et elu muutus raskemaks McCarthyismi mõju tõttu. Seeger külastas kommunistlikku Hiinat ja selle tulemusena võeti ta USA pass tagasi. 1957. aastal oli USA välisministeerium Seegeri osalemisele 6. Noorte ja üliõpilaste maailmafestivalile vastu.
Moskva (kus CIA oli USA delegatsiooni jälginud) ja kritiseeris jõuliselt, et ta läks selle reisi ajal Hiinasse, vastupidiselt ametlikule "nõustamisele".