Downey se vader is van half Litaus-Joods, een kwart Hongaars-Joods, en een kwart Ierse afkoms, terwyl Downey se moeder Skotse, Duitse, en Switserse voorouers gehad het. Robert se oorspronklike familienaam was Elias wat deur sy vader verander is om in die weermag in te skryf. Downey en sy ouer suster Allyson het in Greenwich Village grootgeword. Downey was "omring deur dwelms". Sy pa, 'n dwelmverslaafde, het Downey toegelaat om dagga te gebruik op die ouderdom van ses, 'n pa wat later gesê het dat hy spyt was oor sy loopbaan.
Elsie Ann