Фостеру не удалось вернуться в Дом в 1890 году, но год спустя Бенджамин Харрисон назначил его министром финансов после смерти Уильяма Виндома.
В 1891 году Бенджамин Харрисон сделал его министром финансов из-за смерти Уильяма Виндома.