Sa mère, Mary Haines Yorke, meurt lors d'un voyage à la Nouvelle-Orléans en 1820, laissant Sarah et ses deux sœurs devenir orphelines.
Pendant son séjour à la Nouvelle-Orléans, sa mère meurt en 1820 et Sarah a deux autres sœurs.