Penzias sündis Münchenis, Saksamaal, Justine (sündinud Eisenreich) ja Karl Penziase pojana, kes juhtis nahaäri. Tema vanavanemad olid tulnud Münchenisse Poolast ja olid Reichenbach Strasse Shul'i juhtide seas. Kuueaastaselt olid ta ja tema vend Gunther osa Kindertransport'i päästetöö osana Suurbritanniasse evakueeritud juutide lastest. Mõni aeg hiljem põgenesid tema vanemad ka natside Saksamaalt USA-sse ja pere asus 1940. aastal New Yorgi Garment District'i. 1946. aastal sai Penziasist Ameerika Ühendriikide kodakondsuse. Ta lõpetas Brooklyn Technical High School'i 1951. aastal ja pärast keemiat õppimist New Yorgi ülikoolis, vahetas erialasid ja lõpetas 1954. aastal füüsika kraadiga, mis oli tema klassi tipp.
Brooklyni Tehniline Keskkool