Zainul Arifin
Selama menjadi anggota GP Ansor inilah Arifin kemudian semakin meningkatkan pengetahuan agama dan ketrampilan berdakwahnya sebagai mubaligh muda lewat pelatihan-pelatihan khas Ansor. Kepiawaian Zainul dalam berpidato, berdebat dan berdakwah ternyata menarik perhatian tokoh-tokoh Nahdlatul Ulama, organisasi induk Ansor, termasuk: Wahid Hasyim, Mahfudz Shiddiq, Muhammad Ilyas, dan Abdullah Ubaid. Hanya dalam beberapa tahun saja, Zainul Arifin sudah menjadi Ketua Cabang NU Jatinegara dan berikutnya sebagai Ketua Majelis Konsul NU Batavia hingga datangnya tentara Jepang tahun 1942. Pada saat itu ia juga bekerja di Perusahaan Air Minum (PAM) pemerintah kotapraja ("gemeente"). Di kota ini ia juga sempat menjadi guru sekolah di daerah Jatinegara dan Bukit Duri Tanjakan.
Zainul Arifin
Untuk menarik simpati warga hingga ke pedesaan, organisasi-organisasi Islam (utamanya NU) diberi kesempatan untuk lebih aktif terlibat dalam pemerintahan di bawah pendudukan militer Jepang. Zainul Arifin ditugaskan untuk membentuk model kepengurusan "tonarigumi", cikal bakal Rukun Tetangga, di Jatinegara yang kemudian dibentuk pula hingga ke pelosok-pelosok desa di Pulau Jawa. Ketika Perang Asia Pasifik semakin memanas, Jepang mengizinkan dibentuknya laskar-laskar semi militer rakyat. Pemuda-pemuda Islam direkrut lewat jalur "tonarigumi" membentuk Hizbullah (Tentara Allah). Arifin dipercaya sebagai Panglima Hizbullah dengan tugas utama mengkoordinasi pelatihan-pelatihan semi militer di Cibarusa, dekat Bogor. Dalam puncak kesibukan latihan perang guna mengantisipasi terjadinya Perang Asia Pasifik, Kemerdekaan Indonesia diproklamasikan Sukarno-Hatta pada 17 Agustus 1945 di Jakarta.