Né à New York, Arthur Jacob Arshawsky a grandi à New Haven, au Connecticut, où, selon son autobiographie, son introversion naturelle est aggravée par l'antisémitisme local.
Il retourne à New York et devient musicien de session.