Penzias is gebore in München, Duitsland, die seun van Justine (née Eisenreich) en Karl Penzias, wat 'n leerbedryf bedryf het. Sy grootouers het van Pole na München gekom en was onder die leiers van die Reichenbach Straße Shul. Op sesjarige ouderdom was hy en sy broer Gunther onder die Joodse kinders wat na Brittanje ontruim is as deel van die Kindertransport-reddingsoperasie. 'n Rukkie later het sy ouers ook uit Nazi-Duitsland na die VSA gevlug, en die gesin het hulle in 1940 in die Garment-distrik van New York City gevestig.
Brooklyn Tegniese Hoërskool