Miller épouse le photographe Inge Morath le 17 février 1962, et le premier de leurs deux enfants, Rebecca, est né en septembre.
L'année suivante, Miller se maria de nouveau, le photographe Inge Morath était sa troisième épouse, et ils étaient ensemble jusqu'à sa mort en 2002.