Анна родилась в Флэтбруквилле, Уолпак-Тауншип, штат Нью-Джерси, 25 июля 1775 года в семье судьи Джона Кливса Симмса и Анны Татхилл Симмс с Лонг-Айленда.
Ее отец был судьей, и его звали Джон Кливс Симмс.