Werdegang James Witherspoon Jr. war der Sohn des gleichnamigen James Witherspoon (Politiker) (1784–1842), der zwischen 1826 und 1828 Vizegouverneur des Bundesstaates South Carolina war und dessen Frau Jane Donnom Witherspoon (1786 – 1834).