Hoolimata sõbralikust suhtumisest taastatud Bourbonide vastu võttis Debry vastu Napoleoni ametisse nimetamise Bas-Rhini prefektuurisse saja päeva jooksul, 22. märtsil 1815. Pärast keisri teist abdigeerimist vabastati ta ametist ja 1816. aasta jaanuaris oli ta sunnitud riigist lahkuma seaduse alusel, mis pagendas Louis XVI kuninga mõrvarid. Ta läks pensionile Mons'i, Hollandi Ühendkuningriigis. Debry lubati naasta ainult Bourbonide lõpliku langusega.
1830. aastal ja kui endine prefekt sai pensioni Prantsusmaa Louis Philippe'i uue valitsuse poolt. Ta suri Pariisis 6. jaanuaril 1834.