Baldwin sündis Dutchess County's, New Yorgis, ja kasvas seal perekonna talus. Ta käis keskkoolis Red Creekis, New Yorgis, ja hiljem õpetas kooli nii Rhode Islandis kui ka Connecticutis. 13. aprillil 1861. aastal liitus ta oma nelja vennaga liidu armeega, kellest üks sai surma Resaca lahingus.
- Jah. Ta valiti algselt kapteniks C kompanii, 36. rügemendi, Illinois vabatahtliku jalaväe. Rügementi saadeti Missourisse ja 1862. aasta veebruaris sai temast kvartemister. Samal aastal augustis edutati ta 8. Missouri vabatahtliku ratsaväe rügemendi leitnantkoloneliks.