gavin werd geboren als james nally ryan het is niet duidelijk wie zijn ouders waren james verbleef in een weeshuis totdat hij in  werd geadopteerd door martin en mary gavin uit mount carmel pennsylvania waar martin gavin in een kolenmijn werkte het gezin had het niet breed en james moest al op -jarige leeftijd gaan werken om geld te verdienen