Avec Fitzgerald et Brown, souvent occupés à faire des tournées et à enregistrer, l'enfant a été élevé en grande partie par sa tante, la Virginie.
Fitzgerald et Brown étaient tous deux souvent occupés à faire des tournées et à enregistrer, mais la tante de Fitzgerald, en Virginie, s'occupait surtout de Ray.