Ta on näitleja James Haveni õde ja laulja-laulja Chip Taylori ja geoloogi ja vulkaanoloogi Barry Voighti õetütar. Tema ristivanemad on näitlejad Jacqueline Bisset ja Maximilian Schell. Isa poolel on Jolie saksa ja slovaki päritolu, ema poolel on ta peamiselt prantsuse-kanada, hollandi ja saksa päritolu. Nagu tema ema, on ka Jolie öelnud, et ta on osaliselt hurkees, kuigi tema ainsad teadaolevad põlisrahvaste esivanemad olid 17. sajandi esivanemad.
James Haven