Adam Worth sündis vaeses juudi perekonnas kusagil Saksamaal. Tema esialgne perekonnanimi võis olla "Werth". Kui ta oli viieaastane, kolis tema perekond Ameerika Ühendriikidesse ja asus elama Cambridge'is, Massachusettsis, kus Worth'i isa sai rätsepiks. Aastal 1854 põgenes Worth kodust ja kolis esmalt Bostoni ja seejärel 1860. aastal New Yorki. Ta töötas ühe kuu vältel kaubamaja kirjutajana.
Boston