Werdegang John Brown Baldwin, Sohn von Martha Steele Brown (1791–1870) und Briscoe Gerard Baldwin (1789–1852), wurde ungefähr sechs Jahre nach dem Ende des Britisch-Amerikanischen Krieges in Staunton geboren.