ولد والبرغ في حي دورشستر في بوسطن، ماساتشوستس، أصغر تسعة أطفال، بما في ذلك الممثل روبرت والممثل المغني دوني. كانت والدته، ألما إيلين (المولودة دونلي) ، موظفة مصرفية ومساعدة ممرضة، وكان والده، دونالد إدموند والبرغ، سائق توصيل. تطلقا والداه في عام 1982، وبعد ذلك، قام بتقسيم وقته بينهما. كان والده من أصل سويدي وإيرلندي، وكانت والدته من أصل إيرلندي وإنجليزي وكندي فرنسي. من الناحية الأمومية، يرتبط والبرغ بعلاق بعيد مع المؤلف ناثانييل هوثورن. تربى والبرغ كاثوليكيًا رومانيًا وحضر مدرسة كوبلي سكوير الثانوية في شارع نيوبوري في بوسطن. بحلول سن 13 عامًا، كان والبرغ قد أصبح مدمنًا على الكوكايين وغيرها من المواد. لم يحصل على شهادة الثانوية حتى يون
عام 1982