Ihre Ehe war nicht einfach und wurde unter anderem durch die öffentliche Liebschaft Serowas mit dem Marschall Konstantin Rokossowski (zwischen 1942 und 1946) stark beansprucht. 1957 verließ Simonow sie.