Pendant sa jeunesse, il a été, d'une manière générale, un parieur et a eu une vie familiale dysfonctionnelle, ce qui a inspiré la chanson "We 're A Happy Family".
Joey Ramone, sa mère, a encouragé son frère et lui-même à s'intéresser à la musique.