Nama Mujahidin dipilih untuk nama yayasan dan nama masjid yang dirintis tersebut diusulkan oleh Achmad Mawardi Djafar, dengan pemikiran mengabadikan perjuangan kaum muslim dalam kancah kolektif mempersembahkan kemerdekaan Indonesia, khususnya di Kalimantan Barat. Mujahidin sebagai monumen perjuangan ummat dan para penggagas yayasan ini sendiri notabene adalah pelaku sejarah di daerah ini, khususnya Achmad Mawardi Djafar dan H Achmad Manshur Thahir. Setelah terbentuknya yayasan tersebut, tidklah berarti segala kesulitan teratasi dalam rangka membangun masjid yang diidamkan. Sebab, membangun masjid modern untuk ukuran zamannya di Pontianak ketika itu, bukan perkara yang mudah. Berbagai usaha segera dijalankan. Dengan faktor minimnya pendanaan, hingga dari waktu ke waktu, masjid yang digagas inipun belum juga kunjung didirikan. Namun, Yayasan Mujahidin berusaha semaksimal mungkin sesuai tujuan semulanya.
Perjalanan waktu, delapan tahun kemudian, pada 7 September 1961, diadakan pembaharuan kepengurusan Yayasan Mujahidin. Ini dimaksudkan untuk mempercepat pencapaian tujuan semula, membangun masjid modern di tengah Kota Pontianak. Dalam kepengurusan yang diperbaharui itu, terdiri dari tiga Penasehat: Pangdam XII Tanjungpura Brigjen Soedarmo, Wakil Gubernur Kalimantan Barat Letkol Iwan Soepardi dan Walikota Kepala Daerah Kotapraja Pontianak HA Muis Amin. Komisi Pengawas masing-masing Raden Djenal Asikin Joedadibrata, Mohammad Akib dan H Abdussjukur Ketua DPR Daswati II Kalimantan Barat. Badan Pengurus masing-masing Ketua Umum H Achmad Manshur Thahir, Ketua I Andi Odang, Ketua II Ardan, Sekretaris I Muzani A Rani, Sekretaris II Achmad Mawardi Djafar, Bendahara I Merah Kesuma Indra Mahjudin dan Bendahara II Hasnul Kabri. Anggota terdiri dari Burhanuddin, Mohamad Saad Karim, HM Saleh HA Thalib, Andi Jusuf, Saiyan Tiong, M Soedarjo, Aliaswat Saleh dan Mohamad H Husein.
Selanjutnya, ketika Gubernur Kalimantan Barat dijabat Kol Kadarusno, kepengurusan yayasan mengalami perubahan untuk kedua kalinya. Dua orang tokoh pemuka masyarakat muslim Kalimantan Barat, Achmad Mawardi Djafar dan A Muin Idris, diberi mandat oleh yayasan pada 18 Januari 1975 untuk mewakili Yayasan Mujahidin untuk melakukan pembaharuan kepengurusan serta mempertegas maksud dan tujuan dari yayasan ini. Maka, pada Kamis 29 Februari 1975, dengan Akta Nomor 40 Notaris Mohamad Damiri di Pontianak, terbit Akta Perubahan Yayasan Mujahidin. Dan di bawah kepemimpinan Gubernur Kadarusno pada waktu silam, maka pembangunan wujud fisik masjid dilaksanakan secara intensif.
