Tema vanemad abiellusid 1855. aastal. 1864. aastal läks perekond Charles'i kasvava alkoholismi tõttu laiali ja lapsed elasid ajutiselt Edinburghis. 1867. aastal tuli perekond taas kokku ja elasid 3 Sciennes Place'i viletsates korterites. Doyle'i isa suri 1893. aastal Crichton'is, Royal Dumfriesis, pärast mitmeid aastaid kestnud psühhiaatrilist haigust. Toetatud jõukate onude poolt saadeti Doyle Inglismaale, St Hodder Place'i jesuiitliku ettevalmistuskooli Lancashire'is.
Crichton Royal, Dumfries,