אביו, רוברט דאוני הבכור, הוא שחקן ויוצר סרטים, ואמו, אלזי אן (נולדה פורד), הייתה שחקנית שהופיעה בסרטיו של דאוני הבכור. אביו של דאוני הוא חצי יהודי ליטואני, רבע יהודי הונגרי ורבע אירי, ואמו של דאוני הייתה ממוצא סקוטשי, גרמני, שוויצרי ואסכולי. שם המשפחה המקורי של רוברט היה אליאס, ששינה אביו כדי להתגייס לצבא. דאוני ואחותו, מוניקה סאטר, עברו לניו יורק ב-1972. הוא התחיל לשחק בסרטים כילד גדול יותר, אבל הוא ידע את שם אביו, דוניי, שהתחיל לשחק בסרטים כילד גדול יותר ב-1979. "כשהוא היה בן שבע, אבא שלי עבר לניו יורק כדי לרדוף את דרמת הבילוי של סאטר סאטר בסרטים ודרמות קולנועיות, אבל בסופו של דבר הוא עבר לניו יורק ב-1982. הוא התחיל לשחק בסרטים כמו "סופר-מונטג'ר", "אבא
אלסי אן.