למרות גישה ידידותית כלפי הבורבון שהוחזר, דברי קיבל את מינויו של נפוליאון למחוז באס-רין במהלך מאה הימים, ב-22 במרץ 1815. בעקבות התפטרותו השנייה של הקיסר, הוא פוטר ממשרתו, ובינואר 1816 נאלץ לעזוב את המדינה על פי חוק שהגירש את רצחני המלך לואי ה-16. הוא פרש למונס, בממלכה המאוחדת של הולנד. דברי הורשה לחזור רק עם נפילת הבורבון הסופית.
בשנת 1830, וכפרפקט לשעבר הוענק לו פנסיה על ידי הממשלה החדשה של לואי פיליפ של צרפת. הוא נפטר בפריז ב-6 בינואר 1834.