Sündinud Walter Montagu Douglas Scott'i, 5. Buccleuchi hertsogi neljandana pojana, õppis Charles Montagu Douglas Scott Radley kolledžis ja astus 1853. aastal Kuningliku mereväkke. Ta teenis Mustal merel 1855. aastal Krimmi sõja ajal. Ta osales ka Fatshan Creek lahingus 1857. aastal Teise Opiumi sõja ajal.
Ta teenis mereväe brigadis 1857. aasta Indiase mässul.