Maikuus 1814 naasis Ruffo Rooma, kus rahvas ja kardinalite kolleegium teda ükskõikselt vastu võtsid, nii et ta otsustas minna Napolisse ja seal asuda. 8. veebruaril 1815 kutsus paavst Pius VII Ruffo Roomasse tagasi ja nimetas ta Annona ja Grascia prefektikuks, et ta vastutaks liha, rasva ja õli hankimise eest. 8. mail 2017 sai temast Malta ordeni suurprior paavstlikus riigis. Alates 29. märtsist 1819 kuni 21. veebruarini 1820 oli ta Püha Rooma Kiriku Camerlengo kuni tema ametisse nimetamiseni Vee, Pontine'i soomud ja Chiani koguduse prefekti ametisse. 1821. aasta märtsis tuli ta tagasi Neaplit, mis oli kannatanud Austria sõjaväe vastu rahva mässu tõttu. 27. juunil valis ta Via Lata Santa Maria diakoniks ja kandis kardinalprotodiakoni tiitlit. 1823. aasta augustis osales Ruffo paavstliku konklaabis
mis valis paavst Leo XII. Aasta lõpus läks Ruffo tagasi Napoli.