Après la défaite de Martin en vue de sa réélection en 1841, Angelica et son mari vivent à la maison Van Buren de Lindenwald, à Kinderhook, dans l'État de New York, hivernant dans sa maison familiale en Caroline du Sud.
En 1841, Martin Van Buren est défait, et son mari et elle se tournent vers Kinderhook, à Lindenwald.