Vì chán chốn quan trường mà ông đã xin cáo bệnh để về hưu ở làng Thanh Mai, ông đã đưa cả gia đình về để tránh nguy hiểm từ bên ngoài. Ông về ở tại làng Thanh Mai, huyện Tiên Phong, nay là huyện Ba Vì, Hà Nội.
Trở về (Giáp Ngọ 1834), ông được bổ làm Tư vụ bộ Công. Sau đó, vì chán chốn quan trường, ông cáo bệnh xin về hưu ở làng Thanh Mai, thuộc huyện Tiên Phong (nay là xã Vạn Thắng, huyện Ba Vì, Hà Nội). Ở đây, ông làm nghề dạy học và soạn sách cho đến khi mất.