Voltooi die volgende sin: Nadat hy sterk belangstelling van Inter Milan aangetrek het, het Ancelotti in die middel van 1979 na Roma oorgeplaas en sy Serie A-debuut gemaak in 'n 0<unk>0-trekking teen AC Milan op 16 September. Onder die bestuurder Nils Liedholm is hy as 'n vleuel of sentrale middelveldspeler ontplooi en het hy een van die klub se belangrikste spelers geword in 'n span wat soos die Brasiliaanse ster-middelveldspelers Falcão en Toninho Cerezo, sowel as die Italiaanse sokkerspelers Roberto Pruzzo, Bruno Conti, Agostino Di Bartolomei en Pietro Vierchowod, onmiddellik agtereenvolgende Coppa Italia-titels gewen het in sy eerste twee seisoene met die klub. Tydens sy agt seisoene by die klub het hy die Coppa Italia vier keer gewen (1980, 1981, 1984 en 1986). Nadat hy met kniebeserings gesukkel het, en tweede en derde plek in die liga in
In 1981 en 1982 het Ancelotti gehelp om die span te lei om 'n historiese Italiaanse kampioenskap in 1983 te wen, die klub se tweede liga-titel in hul geskiedenis. Die volgende seisoen het hy Roma selfs gehelp om nog 'n Coppa Italia-titel te wen en die Europese Beker-eindstryd in 1984 te bereik, hoewel hy die eindstryd weens besering gemis het, aangesien Roma deur Liverpool in die Stadio Olimpico in Rome op strafskote verslaan is. Hy is in 1985 aangewys as kaptein van die span onder die nuwe klubbestuurder Sven-Göran Eriksson, en het gedien as mentor vir die jong middelveldspeler Giuseppe Giannini, toe Roma die Coppa Italia gewen het, maar weer eens die liga-titel tydens die 1985-86 Serie A-seisoen net gemis het, en op die tweede plek agter Juventus geëindig het.