Alba on sündinud Pomonas, Californias, Catherine Louisa (sündinud Jensen) ja Mark David Alba. Tema ema on Taani, Wales, Saksa, inglise ja prantsuse päritolu, samas kui tema isapoolsed vanavanemad, kes sündisid Californias, olid mõlemad Mehhiko sisserändajate lapsed. Tal on noorem vend, Joshua. Tema kolmas nõbu, üks kord eemaldatud, on kirjanik Gustavo Arellano. Tema isa õhujõudude karjäär viis pere Biloxi, Mississippi ja Del Rio, Texas, enne kui ta asus tagasi Claremont, Californias, kui ta oli üheksa aastane. Alba on kirjeldanud oma perekonda kui "väga konservatiivset perekonda <unk> traditsioonilist, katoliku, Ladina-Ameerika perekonda" ja väga liberaalset; ta ütleb, et ta oli ise tuvastanud "feminist" juba viiest eluaastast. Alba varases lapsepõlves kannatas ta mitmete füüsiliste haiguste all.
4-5 korda aastas