তখন অবিভক্ত বাংলার মুড়াগাছার জমিদার ছিলেন বরদাপ্রসাদ রায়চৌধুরী। তাঁর রাজ্যপাট প্রসারিত ছিল বাংলার বিভিন্ন জায়গায়। তিনি ছিলেন শিবভক্ত। তাঁর রাজ্যপাট বিস্তৃত হওয়ার সঙ্গে সঙ্গেই দক্ষিণ ২৪ পরগনার প্রায় শতাধিকেরও বেশি জায়গায় তিনি স্থাপন করেছিলেন নানা মন্দির। ডায়মন্ড হারবার সরিষা গ্রামে এই কালীমন্দিরও তাঁরই প্রতিষ্ঠা করা অন্যতম মন্দির।
বরদাপ্রসাদ রায়চৌধুরী একাধিক জায়গায় ভাগচাষের ব্যবস্থার মাধ্যমে তাঁর জমিদারি বজায় রেখেছিলেন। সরিষাতেও ছিল সেই ব্যবস্থা। শোনা যায়, সেই সময় সরিষা-সহ বিভিন্ন গ্রামে দেখা দেয় বসন্ত রোগ। বরদাপ্রসাদ স্বপ্নাদেশ পান, সরিষার এই মন্দিরে প্রতিষ্ঠিত করতে হবে মা কালীকে। মন্দিরের পাশেই রয়েছে সুবিশাল ঘোলপুকুর। সেই পুকুর থেকে উদ্ধার হল কাঠ। সেই কাঠ দিয়েই তৈরি হল মায়ের মূর্তি। মাটি লাগেনি এই মূর্তিতে। তারপর থেকেই সরিষাগ্রামে এই মন্দিরে মা কালীর আরাধনা হয়ে আসছে। অনেক পরে বরদাপ্রসাদ তাঁর প্রায় ৩০০ বিঘা জমি পেরেল ও হালদারদের মধ্যে ভাগ করে দিয়েছিলেন। পরবর্তী সময়ে পেরেলদের থেকে সব কিছু কিনে নেন সন্তোষ কুমার হালদার। মন্দিরেরও হাতবদল হয়। তা চলে যায় সন্তোষ কুমার হালদারদের দখলে। এখনও তাই আছে।
এই কালীপুজোকে কেন্দ্র করে রয়েছে একাধিক কাহিনি। শোনা যায়, সরিষা গ্রামে এই মা কালীর পুজোর দিন গ্রামে অন্য কোনও জায়গায় কালীর পুজো হয় না। কারণ, এর আগে একাধিকবার সরিষা গ্রামে গ্রামবাসীরা অন্য পুজো করতে উদ্যোগ নিলেও ঘটে নানা অঘটন। এসবের পর থেকেই গোটা গ্রামের আরাধ্যা দেবী হয়ে উঠেছেন এই কাঠের কালীঠাকুর।
এই কালীর পুজোর ক্ষেত্রেও রয়েছে একাধিক নিয়মনীতি। প্রত্যেকদিনই রীতি মেনে মাকে দিতে হয় অন্নভোগ। কালীপুজোর রাত্রে মায়ের সামনে চড়ে বলি। তা ছাড়া অনেকেই মনস্কামনা পূরণ করতে দূর দূরান্ত থেকে এই কালীমন্দিরে আসেন। মানতও করেন। আর মনস্কামনা পূরণ হলে মানত চোকাতে মায়ের সামনে দেন বলি।
এখনও পর্যন্ত সেই কাঠের তৈরি মা কালী একইভাবে রয়ে গিয়েছেন এখানে। হালদার পরিবারও বংশানুক্রমে সমস্ত কিছুর দায়িত্ব পালন করে চলেছেন, মেনে চলেছেন সমস্ত রীতি-নীতি। নিয়ম মেনে শুধু কালী পুজোর দিনেই নয়, সারাবছরই এখানে মায়ের পুজো করে আসছে হালদার পরিবার। তবে এখন এই পুজো গোটা গ্রামেরই পুজো হয়ে উঠেছে। এই পুজোকে কেন্দ্র করে গোটা সরিষা গ্রামের মানুষ একত্রিত হন মন্দির প্রাঙ্গণে। সারারাত ধরে চলে পূজাপাঠ।