Skryf 'n voortsetting vir hierdie paragraaf - Lê is in 1968 in Hà Tiên gebore, 'n Viëtnamese dorp naby die grens van Kambodja. Die Kambodja-Viëtnamese Oorlog
van die 1970's het Khmer Rouge-troepe na die streek gebring. Toe hy tien jaar oud was, in 1978, het sy gesin gevlug. Toe die reis begin het, is Lê saam met sy ses broers en susters en sy ma vergesel. Maar terwyl die tienjarige Lê saam met sy ma veilig op die boot gekom het, was ander van sy broers en susters nie so gelukkig nie. In 'n onderhoud wat in 'n katalogus vir een van sy uitstallings gepubliseer is, het hy die verhaal van die ontsnapping vertel. Dit was "'n wanhopige vlug na vryheid", en hy het gesê dat hy "[nooit] die gesig van sy ma sou vergeet terwyl sy die strand deursoek het... op soek na tekens van haar oudste seuns en dogter nie". Ná 'n kort verblyf in Thailand het die gesin uiteindelik oorsee getrek en hulle in Los Angeles gevestig.