در سال 64 ه.ق.عبد الله بن زبير شورش كرد و شهر مكه را به عنوان مركز حكومت‏خود برگزيد.سپاهيان شام كه در پى براندازى حكومت زبيريان بودند،براى تصرف آن ابتدا به مدينه رفتند و پس از سركوبى قيام آن شهر،به سوى مكه آمدند.آنها بر فراز كوههاى اطراف رفته،شهر مكه را در حصار خود گرفتند و با نصب منجنيق،شهر مكه را با آتش و سنگ مورد حمله قرار دادند.در اين درگيريها،پرده كعبه آتش گرفت و پس از آن كعبه نيز ويران شد.در همين حال،خبر مرگ يزيد به سپاهيان شام رسيد و آنان باز گشتند. عبد الله بن زبير،على رغم مخالفت برخى از اصحاب،باقى مانده ديوار كعبه را نيز برداشت و مجددا از اساس آن را ساخت.او كوشيد در بناى جديد،تغييرى را كه قريش در ساختمان كعبه داده و مقدارى از مساحت آن را در سمت‏حجر اسماعيل كاسته بودند،به كنارى نهد و كعبه را به همان شكل پيش از بناى قريش در آورد.بعلاوه،ابن زبير در ناحيه حجر اسماعيل بر مساحت مسجد افزود و دو در براى كعبه قرار داد.