Downey'i isa on pooleldi leedu juut, pooleldi ungari juut ja pooleldi iiri päritolu, samas kui Downey'i ema oli šoti, saksa ja Šveitsi päritolu. Robert'i esialgne perekonnanimi oli Elias, mida tema isa muutis, et sõjaväkke astuda. Downey ja tema vanem õde Allyson kasvasid Greenwich Village'is. Lapsena oli Downey "ümbritsenud narkootikumidega". Tema isa, narkomaan, lubas Downey'il kasutada marihuaanat kuueaastaselt, mida tema isa hiljem ütles, et ta kahetseb.
Elsie Ann.