מסור היה נשוי שלוש פעמים, והיו לו בסך הכל חמישה ילדים. נישואיו הראשונים עם בריג'יט שטוצ'ה הולידו שלושה ילדים, שני בנים ובת, וזה הסתיים בגירושים ב-1966. הוא ואשתו השנייה, אירמגרד אלסה קאול, היו בת, קרולין מסור, שהפכה לזמרת אופרה. אירמגרד מסור נפטרה בשנת 1972 בתאונת דרכים שבה מסור נפצע קשה. בשנת 1975 הוא התחתן עם אשתו השלישית, סופרנו וכינור, טומוקו סאקוראי: היה להם בן אחד, קן-דויד, זמר וקיבר. שאלה: כמה פעמים היה מסור נשוי?
שלוש.