Son père, juge en chef de la Cour suprême du New Jersey, est devenu plus tard un propriétaire foncier important dans le sud-ouest de l'Ohio.
Pendant la Révolution américaine, le père d'Annas s'habillait comme un soldat britannique et l'amena à cheval en passant par les lignes britanniques jusqu'à ses grands-parents sur Long Island.