Sündinud Eva Unger Berliinis 1932. aastal jõuka, ilmaliku juudi perekonna, ta saabus Suurbritanniasse põgenikena 1939. aastal koos oma ema Irma Unger ja tema noorem vend, Ernst. Kristallöö ajal
1938. aasta novembris arreteeriti tema isa Emil ja saadeti Dachau koonduslaagrisse. Hiljem vabastati ta pärast seda, kui tema naine pakkus natsidele suurt altkäemaksu ja õnnestus põgeneda Inglismaale, et ühineda oma perega Londonis. Kõik Fige'i vanavanemad mõlemal pool peret surid koonduslaagrites. Teise maailmasõja lõpus meenutas Figes "The Observeris" 1979. aastal: "Mu ema andis mulle üheksa penni ja saatis mind kohalikku kinno... Ma istusin üksi pimedas ja vaatasin Belseni uudistefilmi". See andis talle palju aastaid õudusunenägusid.