Сарджент вырос в Стэмфорде, Линкольншир, где он присоединился к хору собора Питерборо, изучил игру на органе и выиграл стипендию в Стэмфордской школе.
Его отец был торговцем углем в Стэмфорде, Линкольншир, который также играл на органе. Сарджент вырос в Стэмфорде и много занимался любительской музыкой.