Осип был арестован в 1934 году за стихотворение «Сталинская эпиграмма» и сослан вместе с Надеждой в Чердынь Пермской области.
Осип написал стихотворение о российском лидере, названное Сталиным эпиграммой. Это разозлило российское правительство, и в 1934 году его арестовали и приказали жить в Чердыни Пермской области, а затем в Воронеже.