Ihre Mutter starb jung, und der Vater heiratete ein zweites Mal. Herzfelder hatte zwei Schwestern und eine Halbschwester, von denen ihr ihre Schwester Jenny, die von den Nationalsozialisten ermordet wurde, besonders nahestand.