Мильо родился в Марселе в еврейской семье из Экс-ан-Прованса, учился в Париже в Парижской консерватории, где познакомился со своими товарищами по группе Артуром Онеггером и Жермен Тайферре.
Мильо учился в Париже в Парижской консерватории, где познакомился с Артуром Онеггером и Жермен Тайллефер, которые также должны были стать участниками Les Six.