Tema ema, Julie Anne Toksvig (sündinud Brett), on britti. Tal on vanem vend Nick ja noorem õde Jenifer. Ta käis Tormead School'is, sõltumatul tüdrukute koolis Guildfordi lähedal, kui tema isa oli Londonis. Tema esimene töökoht oli 18-aastaselt muusikalise Jesus Christ Superstar'i jälgimise koha operaatorina. Ta luges õigust, arheoloogiat ja antropoloogiat Girton College'is Cambridge'is, lõpetades esimese klassi kraadi ja saades kaks auhinda silmapaistvate saavutuste eest (The Raemakers ja Monte Theresa Fiore Awards).
Tormeadi kool