Woolsey sündis Leelanau maakonnas, Michiganis, 1894. aasta 29. augustil, Byron Woolsey ja Sarah Hall'i pojana. Woolsey vanaisa Chauncey Woolsey suri 1864. aastal Totopotomoy Creek'i lahingus.
Hanover'i maakonnas, Virginia kodusõja ajal. Tema vanavanaisa, Adolphus Woolsey, teenis 1812. aasta sõjas. Woolsey oli George (Joris) Woolsey järeltulija, New Amsterdami 17. sajandi asunik ja Ameerika Woolsey perekonna esivanem.