ההצלחה הזאת נמשכה במהרה לתקופה אפלה בהיסטוריה של המועדון, כאשר מילאן ירדה לליגה B פעמיים במהלך שנות השמונים המוקדמות. מילאנו ירדו ב-1980
על מעורבותו בשערוריית תיקון המשחקים של 1980, ושוב לאחר שסיימה במקום השלישי האחרון בעונת 1981-82, לאחר שחזרה לסרי A בעונה הקודמת, לאחר שזכתה בתואר סרי B 1980-81. למרות שהיה חבר בצוות האיטלקי של יורו 1980 שהסיים במקום הרביעי, ובצוות המנצח בגביע העולם של 1982, בחר ברסי להישאר עם מילאן, וזכה בתואר סרייה ב בפעם השנייה במהלך עונת 1982-1983 והשיב את מילאן לסרייה א. לאחר שאלדו מלדרה ופולביו קולובטי עזבו את המועדון בשנת 1982, נבחר ברסי לקפטן של מילאן, בגיל 22, והוא ימלא את התפקיד הזה במשך רוב זמנו במועדון, והפך לסמל ומנהיג של הקבוצה. במהלך תקופה עגומה זו עבור מילאן, ברסי הצליח לזכות בגביע מיטרופה בשנת 1982 והגיע לגמר גביע איטליה בעונת 1984-85, למרות שהקבוצה לא הצליחה לשלוט בסרייה א'.