রুদ্রপ্রয়াগের, সরস্বতী নদীর তীরে অবস্থিত, এই কালিমঠ হলো, ১০৮ শক্তিপীঠের মধ্যে প্রথম শক্তিপীঠ।
মহা অসুর রক্তবীজ নিধনের পর, দেবী উগ্র ক্রোধভৈরবী চামুণ্ডা কালী, এই অসুরের বুকে পা দিয়ে সামনে এগিয়ে যেতে চাইলে, দেবী আর এগুতে পারেন নি।
রক্তবীজ কোনমতে দেবীকে বললেন, হে মাতা আমার মহা আসুরিক জ্ঞান বোধ বুদ্ধি ও চেতনা নাশ হয়েছে। আমার গতি কি হবে মা।
দেবী রক্তবীজ অসুরকে বললেন, হে পুত্র আমার তুমি ভৈরব পাহাড়ে ( বৈষ্ণবী দেবীর মন্দিরের উপরে) মহাদেবের তপস্যা করে শিবত্ব লাভ করো, তবেই তোমার মুক্তি।
এই বলে দেবী ভূ গহ্বরে, শীলা রুপে লীন হয়ে যান। গহ্বরটি রুপার আচ্ছাদনে সর্বদা ঢাকা থাকে। দ্বাদশ বর্ষীয় বালক, কার্তিক অমাবস্যা তিথিতে এবং শারদীয়া সন্ধিক্ষণে চোখ বন্ধ অবস্থায়, গুহার ভিতরে ঢুকে দেবীর পূজা সম্পন্ন করেন।
এই রক্তবীজ অসুর পরবর্তিতে, ভৈরব পাহাড়ে(বৈষ্ণদেবী মন্দিরের উপরে) মহাদেবের তপস্যায় সিদ্ধিলাভ করে, শিবত্ব লাভ করে ভৈরনাথ মুনি পদ লাভ করেন।
এই কালি মঠ ঐতিহাসিক দিক থেকে খুবই বিখ্যাত। খনন কার্য করার সময় এখান থেকে বহু প্রত্নতাত্ত্বিক ভাস্কর্য পাওয়া যায়। মহাকবি কালিদাসের জন্মস্থান এটি।