אביו, צ'ארלס אלטמונט דויל, נולד באנגליה, ממוצא קתולי אירי, ואמו, מרי (נולדה פולי), הייתה קתולית אירית. הוריו נישאו בשנת 1855. בשנת 1864 התפרקה המשפחה בגלל האלכוהוליזם הגובר של צ'ארלס, והילדים הושבו באופן זמני ברחבי אדינבורו. בשנת 1867 התאחדה המשפחה שוב וחיה בדירות שכירות עגומות ב-3 Sciennes Place. אביו של דויל מת בשנת 1893, ב-Crichton, Dumfries המלכותית, לאחר שנים רבות של מחלה פסיכיאטרית. נתמך על ידי דודים עשירים, הוא נשלח לאנגליה, בבית הספר הכשירים היזואי Place Hodder, St Matthony ב-Lancashire. אביו, צ'ארלס אלטמונט דויל, נולד באנגליה, ממוצא קתולי אירי, ממוצא אירי, נולד ב-18688. הוא הלך ללימוד באוניברסיטת St Harlanhurst, ואמותו,
22 במאי 1859