Son père, Benjamin Mayson, meurt alors qu'elle est jeune et sa mère, Elizabeth Jerram, se marie de nouveau avec Henry Dorling, qui est veuf et qui a quatre enfants.
Même après le déménagement à Epsom, les deux mères de Samuel et d'Isabella ont continué à se parler.