Миллер женился на фотографе Инге Морат 17 февраля 1962 года, и в сентябре у них родился первый из их двоих детей, Ребекка.
В следующем году Миллер снова женился. Фотограф Инге Морат была его третьей женой, и они были вместе до ее смерти в 2002 году.