Nach der Annäherung Ungarns an das nationalsozialistische Regime Deutschlands emigrierte Agay als Jude, dessen Eltern später in Auschwitz ermordet wurden, 1939 nach New York und wurde US-amerikanischer Staatsbürger.