Täitke järgmine lause: Kui McLarenid Prost ja Niki Lauda domineerisid, oli Arnouxil Ferrari teisel hooajal vähem edukas, lõpetades ainult 6. kohaga 27 punktiga, kusjuures tema uus meeskonnakaaslane Michele Alboreto võttis järk-järgult temalt initsiatiivi ja meeskonna juhtimise. Pärast kolme võitu ja nelja pole-positsiooni 1983. aastal ei suutnud Arnoux võita ega võita pole-positsiooni 1984. aastal (Alboreto võitis Belgia Grand Prix pole-positsiooniga, kus Arnoux alustas teisel ja lõpetas kolmandal kohal), kuigi ta lõpetas San Marinos ja Dallases teisena, kus ta oli sunnitud alustama pitsadest elektriviga tõttu soojenduskäigul ja suutis hoida oma autot hädas. Ainus Grand Prix, mis kunagi Dallases toimus, oli ka viimane kord, kui Arnoux saavutas Formule 1 podiumi. Hooaja möödudes tundus, et Arnouxil puudus motivatsioon ja pärast neljandat koha Brasiilias, lahkus ta Ferrarist vastastikusel kokkuleppel. Tema koha meeskonnas võttis omaks rootsi sõitja Stefan Johansson. Teda nähti Brabham'i kaevustes
Imola kolmandas voorus, mis tekitas kuulujutte, et ta ühineks Bernie Ecclestone'i omandis oleva meeskonnaga, kuid sellest ei tulnud midagi välja ja teda nähti hooaja lõpuni harva võistlustel.