জনশ্রুতি আছে, হযরত খানজাহান আলী (রহঃ) এর বসতভিটার পশ্চিমে যে প্রহরা চৌকি ছিল সেখানে এ মসজিদটি নির্মান করা হয়েছিল। মনে করা হয় চুনাখোলা মসজিদ যেখানে অবস্থিত সেই এলাকায় হযরত খানজাহান আলী (রহঃ) তার বিভিন্ন স্থাপনা নির্মাণের জন্য প্রয়োজনীয় চুন উৎপাদন কেন্দ্র বা চুনখোলা স্থাপন করেছিলেন। তাই সেই এলাকার নাম হয়ে যায় চুনাখোলা, আর মসজিদটি পরিচিতি পায় চুনাখোলা মসজিদ নামে। বলা হয় হযরত খান জাহান আলী (রহঃ) এর কোন এক কর্মচারী এই মসজিদটি নির্মান করেছিলেন।
আমি মূলত গিয়েছিলাম পরিবার নিয়ে সুন্দরবন সফরে। সুন্দরবনে ৩ দিনের সফর শেষে সফরসঙ্গীদের সাথে ঢাকায় না ফিরে
পরিবার নিয়ে থেকে গিয়েছিলাম খুলনায়। পরদিন সকালে বাগেরহাট পৌছে একটি ইজিবাইক রিজার্ভ করে বাগেরহাটের নানান যায়গায় ঘুরে বেরিয়েছিলাম। প্রথমেই গিয়েছিলাম ষাট গম্বুজ মসজিদটি দেখতে। সেখান থেকে চলে যাই পাশেই বিবি বেগনী মসজিদটি দেখতে। বিবি বেগনী মসজিদ দেখে চলে যাই পাশেই এই চুনাখোলা মসজিদটি দেখতে। মসজিদে কোনো লোক না থাকায় আমি মসজিদটির ভিতরে ঢুকতে পারি নি।