דויל היה אב לחמישה ילדים. היו לו שניים עם אשתו הראשונה: מרי לואיז (1889-1976) וארתור אלני קינגסלי (1892-1918). היו לו שלושה ילדים נוספים עם אשתו השנייה: דניס פרסי סטיוארט (1909-1955), בעל של הנסיכה ג'ורג'יאנית נינה פרסי; נינה מלקולם; אדריאן מלקולם; אליזבת דויל (1910-1997); אננטה דויל (1912-1997); כשאישתו הראשונה הייתה עדיין בחיים, הוא שמר על מערכת יחסים אפלטונית עם ג'ין, מתוך נאמנות אליה. ג'ין נפטרה בלונדון. דויל היה אב לחמישה ילדים. היו לו שניים עם אשתו הראשונה: מרי לואיז (1889-1976) וארתור אלני קינגסלי, הידוע בשם (1892-1918). היה לו שלושה ילדים נוספים עם אשתו השנייה: דניס פרסי סטיוארט (1909-1955), בעל של הנסיכה ג'ורג'יאנית נינה פרסי; נינה מלקולם מתה; אדריאן מלקולם נפט
1907.