Il se joint également aux Anti-Jacksoniens pour s'opposer à l'Indian Removal Act du président Andrew Jackson, et son opposition à Jackson cause sa défaite lorsqu'il se présente à la réélection en 1830 ; cependant, il l'emporte lorsqu'il se présente de nouveau en 1832.
Il perd sa réélection en 1830, mais il se présente de nouveau en 1832 et gagne.