עם מקלארן של פרוסט וניקי לאודה הדומיננטיים, ארנוקס היה פחות מוצלח בעונה השנייה בפרארי, רק סיים במקום השישי עם 27 נקודות, עם חברו החדש לקבוצה מישל אלבורטו בהדרגה לוקח את היוזמה ומנהיגות הקבוצה ממנו. לאחר שלושה ניצחונות וארבע נקודות הזינוק ב-1983, ארנוקס לא הצליח לנצח או לזכות בעמדת הזינוק ב-1984 (אלבורטו זכה בפרס הגדול של בלגיה מנקודה הזינוק עם ארנוקס שהחל במקום השני והסיים במקום השלישי), אם כי הוא סיים במקום השני בסן מרינו ודאלאס, שם הוא נאלץ להתחיל מהחורים בשל תקלה חשמלית בסיבוב ההתחממות והצליח לשמור על מכוניתו מחוץ לצרות על המסלול המתפורר. הגראנד פרי היחיד שנערך בדאלאס היה גם הפעם האחרונה שבה ארנוקס השיג סיום על הפודיום בפורמולה 1. ככל שהעונה התקדמה, נראה שארנו היה חסר מוטיבציה, ולאחר סיום במקום הרביעי במרוץ הפתיחה של אליפות ברזיל, הוא עזב את פרארי בהסכמה הדדית. מקומו בקבוצה הוחלף על ידי הנהג השוודי סטפן יוהנסון. הוא נראה בבורי בראבהם באימולה.
בסיבוב השלישי, מה שגרם לשמועות שהוא יצטרף לצוות שהיה בבעלותו של ברני אקלסטון, אבל זה לא יצא לפועל והוא נדיר היה נראה במרוצים לשארית העונה.