Sa mère, Mary Haines Yorke, meurt lors d'un voyage à la Nouvelle-Orléans en 1820, laissant Sarah et ses deux sœurs devenir orphelines.
C'est le seul exemple de deux femmes qui ont joué le rôle de Première dame dans l'histoire des États-Unis.