Dzikir syahadat ini kerap kali dilantunkan kiya Merogan saat beliau akan pergi-pulang dari Masjid Kiai Merogan ke Masjid Lawang Kidul, sambil mengasuh perahu Beliau dan pengikutnya bersama-sama menyenandungkan zikir secara berulang-ulang. 

Karena itulah penduduk sekitar tahu kalau Kiai Merogan sedang lewat dan sejak itulah Beliau dikenal dengan nama Kiai Merogan. 

Nama Kiai Merogan sesuai dengan aktivitas beliau yang sering berada di kawasan Muara sungai Ogan yang airnya mengalir ke sungai Musi.

Pada saat didirikan, sebagaimana umumnya lahan tepian sungai di kawasan Palembang, lokasinya berupa rawa. Karena itu, dilakukan penimbunan sehingga lokasinya tinggi daripada lahan sekitarnya. Masjid ini dibangun sekitar tahun 1871 M dan diwakafkan pada 6 Syawal 1310 H atau 23 April 1893 M. 

Masjid ini terletak di muara sungai, yaitu sekitar 13 meter dari Sungai Musi dan 75 meter sebelah selatan Sungai Ogan. Ukuran asli masjid ini sebelum dilakukan renovasi dan perluasan adalah 18,8 m x 19,4 m.

Masjid ini beratap tumpang dua yang ditopang empat saka guru setinggi 6 meter berbentuk persegi delapan berukuran 0,5 meter. Keempat tiang utama ini dikelilingi dua belas tiang penopang setinggi 4 meter dan lebar 0,30m.

Tidak hanya Masjid Kiai Merogan yang dibangun Kiai Merogan, tetapi Masjid Lawang Kidul yang berada di tepi Sungai Musi, di daerah seberang ilir, kelurahan 5 ilir. 

Selain itu, Kyai Merogan juga mendirikan masjid di desa Pedu, Pemulutan, OKI dan masjid di desa Ulak Kerbau Lama, Pegagan Ilir, OKI. Sangat disayangkan, kebakaran yang terjadi pada tahun 1964—1965 telah menghanguskan peninggalan karya tulis Kiai Merogan.

Dijelaskan Yayan, semasa hidupnya, Ki Merogan melakukan pelawatan ke Mekkah dan Saudi Arabia untuk menuntut ilmu agama.

Namun, selama berada di negeri orang, Beliau senatiasa terbayang dan teringat pada “Si anak Yatim” yang berada di tepian Sungai Ogan dan tepian Sungai Musi, yang tak lain adalah Masjid Kyai Merogan dan Masjid Lawang Kidul.

Kyai Merogan meninggalkan para pendukungnya pada 31 Oktober 1901 dan dimakamkan di sekitar Masjid Kiai Merogan Meskipun, Kiai Merogan telah lama tiada, makamnya dikeramatkan hingga kini dan senantiasa ramai dikunjungi para peziarah yang datang dari berbagai daerah untuk berdoa dan mendapat berkah.

Kiai Merogan dapat dipandang sebagai sejarah kolektif (folk history). Cerita-cerita orang-orang suci (legends of the saints) dapat terus hidup di tengah masyarakat pendukungnya.

Cerita-cerita mengenai kemujizatan, wahyu, permintaaan melalui sembahyang, kaul yang terkabul, dan lain-lain dapat kita peroleh melalui pewarisan lisan dari waktu ke waktu, di antaranya kisah mengenai ikan.

Saat ini, masjid yang berlokasi di belakang Stasiun KA Kertapati ini menjadi salah satu destinasi wisata religi yang banyak dikunjungi umat muslim dari berbagai wilayah di Indonesia bahkan dari negeri Jiran.

Mereka mengetahui soak kemasyuran dan karomah yang dimiliki almarhum Kyai Merogan. "Setiap hari belasan hingga puluhan umat muslim yang datang untuk berziarah ke Makam Kyai Merogan yang terdapat di bagian sayal kiri masjid. Selain makam beberapa orang zuriatnya yang lain, terang Yayan.