Ta sündis Dublis, Iirimaal, Chaworth Lysteri, sõjaväe kapten, ja tema naise Anne Keightly kolmas poeg. Tema onu oli William Saurin, Iirimaa peaprokurör. Saurini perekond oli osaliselt prantsuse hugenootide päritolu. Teine tema onu oli James Saurin, Dromore'i piiskop. 13aastaselt saadeti ta pärast haigestumist maailma ümber sõitma ning ta külastas Sydney't ja Melbourni 1842. aastal. Pärast tagasitulekut Inglismaale läks ta Indiasse kavatsusega saada taimekasvatajaks, kuid kliima ei sobinud talle, nii et ta naasis uuesti Inglismaale. Aastal 1847 oli ta Lõuna-Aafrikas ja võitles 7. Cape Frontier Waris.
, ja aasta hiljem oli ta Ameerika Ühendriikides, kus ta proovis oma õnne näitlejana, kuid vähe edu.