Ta oli abielus kolm korda ja tal oli kokku viis last. Tema esimesest abielust Brigitte Stütze'ga sündis kolm last, kaks poega ja tütar, mis lõppes lahutusel 1966. Tema ja tema teisel naisel, Irmgard Elsa Kaul, oli tütar, Carolin Masur, kes sai ooperlauljaks. Irmgard Masur suri 1972. aastal autoõnnetuses, kus Masur sai raskelt vigastada. 1975. aastal abiellus ta oma kolmanda naisega, sopraan ja violis Tomoko Sakurai: neil oli üks poeg, Ken-David, klassikaline laulja ja dirigent.
kolm