הוא נולד בשכונת דורצ'סטר של בוסטון, מסצ'וסטס, הצעיר מבין תשעה ילדים, בהם השחקן רוברט והשחקן-זמר דוני. אמו, אלמה איליין (נולדה דונלי), הייתה פקידת בנק ועוזרת אחות, ואביו, דונלד אדמונד וולברג, היה נהג משלוחים. הוריו התגרשו ב-1982, ולאחר מכן הוא חילק את זמנו ביניהם. אביו היה ממוצא שוודי ואירלי, ואמו ממוצא אירי, אנגלי וצרפתי-קנדי. מבחינה אימהית, וולברג קשור מרחוק לסופר נתניאל הות'ורן. וולברג גדל בקתוליה רומית ולמד בבית הספר התיכון קופלי סקוור ברחוב ניוברי שבבוסטון. בגיל 13, וולברג התחיל להתמכר לקוקאין ולחומרים אחרים. הוא לא קיבל את תעודת הלימודים שלו עד יוני 2013. שאלה: מתי הוריו התגרשו?
1982