כתוב המשך לפרק זה - לאחר שמשך עניין רב מאנטר מילן, באמצע 1979, אנצ'לוטי עבר לרומא, ועשה את הופעת הבכורה שלו ב-Serie A בהגרלה 0<unk>0 נגד AC מילן ב -16 בספטמבר. תחת המאמן נילס לידהולם, הוא הוצב כנף או כמגן מרכזי והפך לאחד השחקנים החשובים ביותר של המועדון בקבוצה שבה השתתפו שחקני האגן הברזילאים פלקאו וטוניניו סרזו, כמו גם שחקני הכדורגל האיטלקים רוברטו פרוצו, ברונו קונטי, אגוסטינו די ברטולומיי ופיטרו וירצ'וואוד. הוא זכה מיד בתארים ברציפות בקופה איטליה בשתי העונות הראשונות שלו עם המועדון. במהלך שמונה העונות שלו במועדון, הוא זכה בקופה איטליה בסך הכל ארבע פעמים (1980, 1981, 1984 ו-1986). לאחר שנאבק עם פציעות ברך, והצליח לסיים במקום השני והשלישי בליגה ב-1981.
בשנת 1982 אנצ'לוטי עזר להוביל את הקבוצה לזכות באליפות איטליה היסטורית בשנת 1983, כותרת הליגה השנייה של המועדון בהיסטוריה. בעונה שלאחר מכן, הוא אפילו עזר לרומא לזכות בתואר נוסף בקופה איטליה ולהגיע לגמר גביע אירופה ב-1984, אם כי פספס את הגמר בגלל פציעה, כאשר רומא הובסה על ידי ליברפול בקטעי עונשים בסטאדיו אולימפיקו ברומא. הוא מונה לקפטן הקבוצה בשנת 1985 תחת המנהל החדש של המועדון סוון-ג'ורן אריקסון, ושירת כמורה למחצי השדה הצעיר ג'וזפה ג'אניני, כאשר רומה זכתה בקופה איטליה, אך שוב החמיצה את תואר הליגה בעונת 1985-1986 בסרייה א', והסתיימה במקום השני מאחורי יובנטוס.