Фостеру не удалось вернуться в Дом в 1890 году, но год спустя Бенджамин Харрисон назначил его министром финансов после смерти Уильяма Виндома.
В 1890 году Фостер попытался вернуться в Дом, но безуспешно.