Он был еще студентом, когда его семья переехала из Парижа в Шамбери, но Жюль вернулся в Париж через несколько месяцев, живя с женатым членом семьи своего отца от его первой жены.
В 1847 году его отец вышел на пенсию, и семья переехала в Париж.