سير عبد الملك جيشًا كبيرًا إلى مكة بقيادة قائده الشهير الحجاج بن يوسف الثقفي، وكان ابن الزبير متحصنًا بها، حاصر الحجاج مكة، وضرب الكعبة بالمنجنيق، وتخاذل الناس عن ابن الزبير، فقاتل مع خاصته بشجاعة نادرة عند الكعبة، حتى سقطت عليه إحدى شرفات الكعبة فقتلته في عام 73هـ/692م.
فخضعت مكة لعبد الملك، وهكذا خضعت له الأمصار كلها فصار هو الخليفة الشرعي في عام 73هـ/692م.
دامت خلافة عبد الله بن الزبير 9 سنوات تقريبًا.