Il était encore étudiant lorsque sa famille a déménagé de Paris à Chambéry, mais Jules est retourné à Paris après quelques mois, vivant avec un membre marié de la famille de son père par sa première épouse.
En 1847, son père prend sa retraite et la famille déménage à Paris.