Осип был арестован в 1934 году за его эпиграмму «Сталин» и сослан вместе с Надеждой в Чердынь, Пермский край, а затем в Воронеж.
Это разозлило российское правительство, и в 1934 году его арестовали и приказали жить в Чердыни Пермской области, а затем в Воронеже.