Il est défait aux fins de réélection en 1878, mais il est élu au poste de gouverneur un an plus tard, pour un mandat de deux ans entre 1880 et 1884.
En 1890, Foster tente de retourner à la Chambre, mais sans succès.