Sargent est élevé à Stamford, dans le Lincolnshire, où il se joint au chœur de la cathédrale de Peterborough, étudie l'orgue et remporte une bourse d'études à l'école Stamford.
Son père était un marchand de charbon à Stamford, dans le Lincolnshire, qui jouait aussi l'orgue.