Im August 1834 zogen seine Eltern mit ihm nach Thirsk in Yorkshire und eröffneten dort ein Geschäft. 1843 wurde Baker Schüler an der Quäkerschule in Ackworth und drei Jahre später an der Quäkerschule in Bootham ( York ).