Сама Джулия уехала из Хэзлхерста с младенцем Робертом, но примерно через два года отправила его жить в Мемфис к Доддсу, который сменил имя на Чарльз Спенсер.
Он родился в Хазлхерсте, штат Миссисипи. Он был 11-м ребенком своей матери Джулии Майор Доддс и 10-м ребенком своего отца Чарльза Доддса.