Pärast suurt huvi Interilt 1979. aasta keskpaigas läks Ancelotti Roomasse ja tegi oma Serie A debüüdi 16. septembril AC Milani vastu 0:0. Treener Nils Liedholmi juhtimisel oli ta tiivul või keskpälvikuna ja sai üheks klubi tähtsamatest mängijatest meeskonnas, kus osalesid Brasiilia staarväellased Falcão ja Toninho Cerezo, samuti Itaalia jalgpallurid Roberto Pruzzo, Bruno Conti, Agostino Di Bartolomei ja Pietro Vierchowod, võites kohe oma kahe esimese hooaja jooksul klubiga järjestikused Coppa Italia tiitlid. Oma kaheksa hooaja jooksul võitis ta Itaalia karika kokku neli korda (1980, 1981, 1984 ja 1986). Pärast põlve vigastustega võitlemist ja teise ja kolmanda koha saavutamist 1981. aastal
Ancelotti aitas meeskonnal võita ajaloolise Itaalia meistrivõistluse 1983. aastal. See oli klubi teine liigavõistlus ajaloos. Järgmisel hooajal aitas ta Romal võita veel ühe Coppa Italia tiitli ja jõuda Euroopa karika finaali 1984. aastal, kuigi kaotas finaali vigastuse tõttu, kuna Roma võitis Liverpoolist Rooma Stadio Olimpico karistusvõistlustel. Ta nimetati meeskonna kapteniks 1985. aastal uue klubi juhataja Sven-Göran Erikssoni juhtimisel ja oli mentor noorele keskmängijale Giuseppe Gianninile, kuna Roma võitis Coppa Italia, kuid jäi järjekordselt 1985/86 Serie A hooajal liiga tiitlile, lõpetades Juventus'i taga teisel kohal.