Swift sündis Fort Laramie's, Wyomingis, kindralmajor Eben Swifti ja Susan Palmeri poeg. Ta lõpetas West Pointi 1904. aastal ja sai kavalerist. Ta oli kindral John J. Pershingi abiväelane Filipiinidel.
ja siis teenisin Mehhikos. Kui ta oli 13. ratsaväe C-üksuse ülemleitnant, saatis ta ülemleitnant George S. Pattonit Pancho Villa isikliku ihukaitsja komandöri Julio Cardenase otsimisel. Esimese maailmasõja ajal teenis ta 86-ndas diviisil asepealiku staabiülemana.