Duong sündis Vietnami Hoi Anis vanematest, kes olid keeleõpetajad. Ta põgenes koos perega Saigoni kommunistide piiramisest.
USA kaubalaeval kolm päeva enne (Lõuna) Vietnami Vabariigi kokkuvarisemist. Ta oli siis 16-aastane, kes oli valmis keskkooli lõpetama, ta oli märtsis 1975 just võitnud Lõuna-Vietnami presidendi auhinna kirjanduses ja ta oli oodanud, et haridusministeerium nimetaks ta oma täiusliku GPA ja riikliku järjestuse eest riiklikuks valedictoriiks.