Selle paragrahvi jätkamine - Kui McLarenid Prosti ja Niki Lauda domineerisid, oli Arnouxil Ferrari teisel hooajal vähem edukas, lõpetades ainult kuuendal kohal 27 punktiga, kusjuures tema uus meeskonnakaaslane Michele Alboreto võttis järk-järgult temalt initsiatiivi ja meeskonna juhtimise. Pärast kolme võitu ja nelja pole-positsiooni 1983. aastal ei suutnud Arnoux võita ega võita pole-positsiooni 1984. aastal (Alboreto võitis Belgia Grand Prix pole'ist, kus Arnoux alustas teisena ja lõpetas kolmandana), kuigi ta lõpetas San Marinos teisena.
ja Dallas, kus ta oli sunnitud alustama pitsidest elektripuudulikkuse tõttu soojenduskäigul ja suutis hoida oma autot hädadest eemale lagunemas rajal. Ainus Grand Prix, mis kunagi Dallases toimus, oli ka viimane kord, kui Arnoux saavutas Formule 1 podiumi. Hooaja möödudes tundus, et Arnouxil puudus motivatsioon ja pärast neljandat koha Brasiilias, lahkus ta Ferrarist vastastikusel kokkuleppel. Tema koha meeskonnas võttis omaks rootsi sõitja Stefan Johansson. Ta nähti Brabhamitelt Imolas 3. raundis, mis põhjustas kuulujutte, et ta ühineks Bernie Ecclestone'i omandis oleva meeskonnaga, kuid sellest ei tulnud midagi välja ja teda nähti hooaja lõpuni harva võistlustel.