Tema vanemad abiellusid 1855. aastal. 1864. aastal läks perekond Charles'i kasvava alkoholismi tõttu laiali ja lapsed elasid ajutiselt Edinburghis. 1867. aastal tuli perekond taas kokku ja elasid 3 Sciennes Place'i rämpsetes korterites. Doyle'i isa suri 1893. aastal Crichton'is, Royal Dumfriesis, pärast paljude psühhiaatrilise haiguse aastaid. Toetatud jõukate onude poolt saadeti ta Inglismaale, St Hodder Place'i jesuiitliku ettevalmistuskooli Lancashire'is.
22. mai 1859