התייחסו לקטע הבא ואז ענו על השאלה שאחריו באותה שפה כמו הקטע:  דאוני נולד במנהטן, ניו יורק, הצעיר משני ילדים. אביו, רוברט דאוני האב, הוא שחקן ויוצר סרטים, ואמו, אלזי אן (בת זוגו פורד), הייתה שחקנית שהופיעה בסרטיו של דאוני האב. אביו של דאוני הוא חצי יהודי ליטווי, רבע יהודי הונגרי ורבע אירי, ואילו אמו של דאוני הייתה סקוטית, גרמנית ושווייצרית. שם משפחתו המקורי של רוברט היה אליאס, אשר הוחלף על ידי אביו כדי להתגייס לצבא. דאוני ואחותו הגדולה אליסון גדלו בגריניץ' וילג'. כילד, דאוני "היה מוקף בסמים". אביו, מכור לסמים, הרשה לדאוני להשתמש במריחואנה בגיל שש, אירוע שאביו אמר מאוחר יותר שהוא מצטער עליו. דאוני הצהיר מאוחר יותר כי השימוש בסמים הפך לקשר רגשי בינו לבין אביו: "כשאבא שלי ואני היינו לוקחים סמים יחד, זה היה כאילו הוא ניסה להביע את אהבתו אליי בדרך היחידה שידע כיצד". בסופו של דבר, דאוני החל לבלות כל לילה בשימוש לרעה באלכוהול ו"לעשות אלף שיחות טלפון בחיפוש אחר סמים". במהלך ילדותו, דאוני היה תפקידים קטנים בסרטים של אביו. הוא שיחק לראשונה בגיל חמש, כששיחק כלבלב חולה בקומדיה האבסורדית "פונד" (1970), ואז בגיל שבע הופיע בקולנוע בסוריאליסטי "ארמון גריזר" (1972). בגיל 10, הוא גר באנגליה ולמד בלט קלאסי כחלק מתוכנית לימודים גדולה יותר. הוא השתתף במרכז האימונים לאמנויות הבמה של סטגדור מנור בצפון מדינת ניו יורק כמתבגר. כאשר הוריו התגרשו בשנת 1978, דאוני עבר לקליפורניה עם אביו, אך בשנת 1982, הוא נשר מבית הספר התיכון בסנטה מוניקה, וחזר לניו יורק כדי להמשיך בקריירה שחקנית במשרה מלאה. דאוני וקייפר סאת'רלנד, ששיתפו את המסך בדרמה 1969 משנת 1988, היו שותפים במשך שלוש שנים כאשר הוא עבר לראשונה להוליווד כדי להמשיך בקריירה שלו בהופעה.  שאלה: מה היה שם אמו של דאוני?
אלסי אן.