Kirsch arreteeriti 24. juulil 1933 Cottbus'is illegaalse poliitilise tegevuse eest. Ta viidi kohalikku SA valdustesse ja teda peksti keppiga ja löödi, et välja tirida ülestunnistus. (Kaks tema ründajat tuvastati pärast sõja lõppu
ja sai pikad vanglakaristused.) Süüdistus esitati 29. novembril 1933 ja 10. aprillil 1934 oli ta üks 25 Berliini kommunistidest, Cottbusist ja Forstist, kellele Berliini ülemkohus karistus mõistis. Kirsch sai kaks aastat ja üheksa kuud vanglakaristus. Ta viidi Jaueri naistevanglasse, et oma karistust täita. 1935. aasta septembris, pärast vangide streike, süüdistati teda ja veel 45 vangit mässu korraldamises (või mässu õhutamises), kuid süüdistused langesid tõendite puudumise tõttu. Kirsch vabastati Jaueri vanglast 12. mail 1936, kuid pärast seda pidi ta rohkem kui aasta jooksul iga päev politseijaoskonda tulema.