مع بداية ضعف الخلافة العباسية، بدأت حركة القرامطة الشيعية التي تنتسب إلى شخص اسمه حمدان بن الأشعث ويلقب بقرمط لقصر قامته، (بدأت) تتقوى وتتوسع، حيث سيطرت على البحرين وانتقلت بعد ذلك إلى الشام والعراق لتصبح دولة قائمة الذات.
وفي سنة 930 ميلادية، الموافق لـ 317 هجرية، عاش المسلمون يوما عصيبا، إذ دخل أبو طاهر القرمطي، على رأس جيش كبير مكة المكرمة، في الوقت الذي كان فيه حجاج بيت الله الحرام يستعدون لأداء مناسك الحج، وقتل عدد كبيرا ممن قادهم سوء قدرهم إلى طريقه، وجاء في كتاب "من حوادث الإسلام"، لصاحبه حازم خالد أن زعيم القرامطة "أمر بأن تدفن القتلى في بئر زمزم ودفن كثير منهم في أماكنهم بالمسجد الحرام...، وهدم قبة زمزم وأمر بقلع باب الكعبة ونزع كسوتها عنها وشققها بين أصحابه...، ثم أمر بعد ذلك بقلع الحجر الأسود فجاءه رجل فضربه بسلاحه، وهو يقول أين الطير الأبابيل أين الحجارة من سجيل؟ ثم قلع الحجر الأسود، وأخذوه إلى بلادهم".
الكتاب ذاته يؤكد أن أمير مكة حاول أن يمنع زعيم القرامطة من أخذ الحجر الأسود و"عرض عليه جميع ماله ليرد الحجر فأبي...، فقاتله أمير مكة فقتله القرمطي وقتل أكثر أهل بيته".
وتوجه قائد القرامطة بعد ذلك بالحجر الأسود إلى القطيف في منطقة تسمى "الجش" وبنى بيتاً دائرياً فسماه "الكعبة"، ووضع الحجر الأسود الذي سرقه فيه وقال اصرفوا الحج إليه، وأجبر أتباعه وأهل مملكته على الحج والطواف لديه، وخصص موضعًا سماه "المشعر" و"عرفات" و"منى".
وكان البناء الذي بناه القرامطة وسموه بالكعبة في القطيف وموجودة آثاره حتى الآن وشكله دائري له بابان، والآن ردم أحدهما بالحجارة، والآخر مفتوح يمكن منه الدخول، وقد ردمت الرمال قسماً من البناء، الذي كان محاطاً بمستنقعات آسنة من ثلاثة جوانب.
ويشير الرحالة الفارسي "ناصر خسرو" الذي زار البحرين قرابة سنة 440، وكتب تقريرا مفصلا عن رحلته في بلاد القرامطة في كتابه "سفرنامه" إلى أن السبب وراء انتزاع الحجر الأسود وسرقته، يكمن في أن القرامطة زعموا أن الحجر مغناطيس يجذب الناس إليه من أطراف العالم، وأضاف "لقد لبث الحجر الأسود عندهم سنين عديدة، ولم يذهب إليه أحد".
لكن وبعد سنوات من واقعة مكة خفتت قوة القرامطة، واقتصرت أعمالهم بحسب ما جاء في كتاب "أسرار الكعبة المشرفة" لصاحبه أحمد حلمي مصطفى على قطع الطريق وبعض الهجمات الخفيفة لتأمين مصدر لعيشهم. "وقد كان الزمن كفيلا بزيادة ضعفهم وحاجتهم إلى المال فما أتى عام 339 هجرية حتى استبدلوا الحجر الأسود بخمسين ألف دينار أعطاهم إياها المطيع (خليفة عباسي)".
ويوم عيد الأضحى من سنة 339 هجرية فوجئ المسلمون بزعيم القرامطة سنبر بن الحسن القرمطي يعيد الحجر الأسود إلى الكعبة، وبحسب نفس المصدر فقد أظهر "الحجر بفناء الكعبة ومعه أمير مكة، وكان على الحجر ضبات فضة قد عملت عليه من طوله وعرضه، تضبط شقوقا حدثت عليه بعد قلعه، وأحضر معه جصا يشد به، فوضع سنبر القرمطي الحجر بيده، وشد الصانع بالجص".
وقام الخليفة العباسي المطيع لله، بعد ذلك بصنع طوقين من الفضة، طوق بهما الحجر الأسود وأحكم البناء حوله، لمنع تضرره مجددا.