Родившаяся в округе Калверт, штат Мэриленд, 21 сентября 1788 года, дочь Уолтера Смита, преуспевающего плантатора из Мэриленда и ветерана американской революции, и Энн Макколл-Смит, «Пегги» росла в среде изысканности и богатства.
Она родилась в округе Калверт, штат Мэриленд.