Henry retourne à Frascati en 1803 et devient, en septembre de la même année, doyen du Collège des Cardinaux et donc évêque cardinal d'Ostia et de Velletri, même s'il vivait encore dans le palais épiscopal de Frascati.
Devenu doyen principal du Sacred College of Cardinals le 26 septembre 1803, il est transféré au Siège d'Ostia et de Velletri.