در مراسم حج همان سال، عبدالله بن زبیر (رضی‌الله‌عنه) از نماینده‌ی حاکم پیروی نکرد و در نماز، افاضه و سایر مناسک به‌طور مستقل عمل نمود. این اقدام، مخالفت آشکاری با خلیفه اموی، یزید، بود.
عبدالله بن زبیر در مکه تنها نبود؛ بلکه بسیاری از صحابه و تابعین با او هم‌رأی بودند، از جمله مسور ابن مخرمه، عبدالله ابن صفوان و مصعب ابن عبدالرحمن ابن عوف. هدف اساسی همه‌ی آن‌ها تغییر اوضاع از طریق قیام و مبارزه بود؛ زیرا احساس می‌کردند که خلافت به ملوکیت موروثی تبدیل شده و یزید صلاحیت منصب خلافت را ندارد.
هدف آنان دفع منکر و مبارزه با جور و فساد بود. به همین دلیل، عبدالله بن زبیر تا زمان وفات یزید ادعای خلافت و امارت نکرد و می‌گفت: «به خدا قسم! هدف من فقط اصلاح اوضاع و اقامه‌ی حق است و هرگز در پی مال و ذخیره‌کردن دنیا نیستم.»
ایشان می‌فرمودند: «بارالها! من دیدار تو را دوست دارم، پس تو نیز دیدار مرا دوست بدار. من به خاطر تو با دشمنت جنگیدم، پس به من ثواب و اجر مجاهدان عنایت فرما.»
نبرد بین یزید و عبدالله ابن زبیر
یزید از مخالفت‌های عبدالله بن زبیر (رضی‌الله‌عنه) به شدت خشمگین شد و تصمیم گرفت او را از سر راه خود بردارد و با او به نبرد بپردازد. این نبرد در دو مرحله در زندگی یزید صورت گرفت:
مرحله‌ی اول: حمله‌ی برادر عبدالله بن زبیر (رضی‌الله‌عنه)، یعنی عمرو بن زبیر. عمرو بن زبیر که با موضع‌گیری برادرش مخالف بود، از یزید درخواست تجهیزات برای مقابله با عبدالله نمود و با هزار جنگجو به طرف مکه مکرمه حرکت کرد. عبدالله بارها سعی کرد از طریق مذاکره جلوی شکستن حرمت مکه را بگیرد و از برادرش عمرو خواست به یزید بنویسد که عبدالله خواهان درگیری نیست و هیچ اختلافی با کسی ندارد؛ ولی هرگز قبول نمی‌کند که با غل و زنجیر نزد یزید برود. عمرو این سخن و پیشنهاد را نپذیرفت و پس از درگیری، سپاه عمرو شکست خورد.
مرحله‌ی دوم: حمله‌ی حصین بن نمیر و محاصره‌ی مکه بود. یزید در ادامه‌ی تلاش‌هایش برای مبارزه با عبدالله بن زبیر، مسلم بن عقبه را که بزرگ‌ترین مجرم فاجعه‌ی حرّه و قتل عام مسلمانان در مدینه بود، به مکه فرستاد. مسلم در راه وفات کرد و حصین بن نمیر پس از او فرماندهی سپاه را برعهده گرفت. او چهار روز قبل از پایان ماه محرّم سال ۶۴ هجری قمری به مکه رسید و لشکرش را در اطراف مکه مستقر و شهر را محاصره کرد. از آن طرف، عبدالله بن زبیر نیز مردم را برای مقابله با سپاه یزید آماده کرد. شکست‌خوردگان واقعه‌ی حرّه نیز به او پیوستند؛ اما این گروه در مقابل سپاه یزید بسیار اندک بودند.
در سوم ربیع‌الأول سال ۶۴ هجری قمری، حصین بن نمیر منجنیق‌ها را بر کوه ابوقبیس و کوه قعیقعان نصب و شروع به سنگ‌باران مکه کرد. عده‌ای از مشاوران عبدالله بن زبیر (رضی‌الله‌عنه)، همانند مسور بن مخرمه، بر اثر اصابت سنگ‌ها شهید شدند و بسیاری از خانه‌ها تخریب شدند. هیچ پناهگاهی برای عبدالله بن زبیر جز مسجدالحرام باقی نماند و او به شدت در تنگنای محاصره قرار گرفت.
در اثنای این نبرد، خانه‌ی کعبه آتش گرفت که این مصیبت بسیار بزرگی بود که بر مصیبت‌های دیگر افزوده شد. البته، مورخین نوشته‌اند که سوزاندن کعبه قصد هیچ‌کس نبوده و این آتش‌سوزی به‌طور اتفاقی رخ داده است.
یزید بن معاویه در اواسط ربیع‌الأول سال ۶۴ هجری قمری از دنیا رفت؛ اما به دلیل مسافت طولانی بین مکه و دمشق، این خبر در اوایل ماه ربیع‌الثانی به مکه رسید. با انتشار این خبر، شامی‌ها سست شدند. حصین بن نمیر پیکی نزد عبدالله بن زبیر فرستاد و خواهان مذاکره در محل ابطح شد. مذاکره صورت گرفت و کلام به درازا کشید. حصین به عبدالله گفت: «بعد از وفات یزید کسی را مستحق‌تر از تو به خلافت نمی‌یابیم. تو اقدام کن، ما با تو بیعت می‌کنیم. سپس با ما به شام بیا؛ زیرا لشکری که با من است از اعیان و سران شام هستند. به خدا قسم! هیچ کس با این امر مخالفت نخواهد کرد و امنیت مردم به دست می‌آید و خون‌ها محافظت می‌شوند و خون‌هایی که بین ما و شما و یا در واقعه حرّه ریخته شده‌اند، جبران می‌شوند.»
عبدالله (رضی‌الله‌عنه) پاسخ داد: «من آن خون‌ها را رها کنم و ببخشم؟ به خدا قسم! اگر به جای هر کدام از آن‌ها ده نفر از شما کشته شود، باز هم راضی نخواهم شد.» بدین ترتیب، عبدالله پیشنهاد خلافت را از جانب حصین بن نمیر رد کرد.
