Lumsden sündis Ida-India Kompanii laeva "Rose" pardal Bengali lahes. Ta veetis esimese kuue aasta oma elust Bengalis, kus tema isa kolonel Thomas Lumsden teenis suurtükiväe ohvitserina. Tema isa Thomas astus 1808. aastal Bengali armee ja teenis Inglise-Nepali sõjas.
, Kolmas Inglise-Maratha sõda ja Esimene Inglis-Birma sõda saavutasid eripära. Tema esimene sugulane, kellest ta eemaldati, oli idateadlane Matthew Lumsden. Tal oli kuus venda, kellest kolm emigreerusid Kanadasse, samas kui tema noorem vend Peter järgnes tema teele Indiasse.