Koos oma väikelapse vennaga David'iga astus James 1861. aastal Ameerika Ühendriikide sõjaväkke, ühinedes F kompaniiga 16. Wisconsin vabatahtliku jalaväerügemendist, Ameerika kodusõja puhkemisel. Ta osales Pittsburgi lahingus.
, ja vabastati 1862.