ولد داوني في مانهاتن ، نيويورك ، الأصغر من طفلين. والده ، روبرت داوني الأب ، هو ممثل ومخرج أفلام ، في حين أن والدته ، إلسي آن (موالدة فورد) ، كانت ممثلة ظهرت في أفلام داوني الأب. والد داوني من نصف يهودي ليتواني ، ربع يهودي هنغاري ، وربع من أيرلندي ، في حين أن والدة داوني كانت من أصل اسكتلندي وألماني وسويسري. كان اسم عائلة روبرت الأصلي إيلياس الذي غيّره والده للتسجيل في الجيش. نشأ داوني وشقيقته الأكبر أليسون في قرية غرينتش. كطفل ، كان داوني "محاطًا بالمخدرات". كان والده مدمنًا على المخدرات ، سمح لداوني باستخدام الماريجوانا في سن السادسة ، والذي قال والده في وقت لاحق أنه ندم على ممارسة الوظيفة. ظهر داوني في سن الخامسة الثانية (1978). عندما كان والد داوني يبلغ من العمر السبعين
(إلسي آن)