بنای کعبه‌ی مشرفه و آغاز امر حرم و مناسک آن به نام ابراهیم خلیل و فرزندش اسماعیل (علیهما السلام) مربوط می‌شود، چنان‌که حافظ ابن کثیر (رحمه‌الله) در کتاب البدایه و النهایه گفته است: «ظاهر آیات قرآن مقتضی این امر است که ابراهیم نخستین کسی بوده است که کعبه را بنا نموده و آن را اساس‌گذاری کرده است». اما نصوص وارده در این مورد منافاتی با دیدگاه ابن کثیر ندارد که کعبه قبل از بنای ابراهیم (علیه‌السلام) بنا شده باشد.
در روایات تاریخی آمده است که کعبه ده بار تجدید بنا شده است. اگر ما بنای ریشه‌ای و سپس بنای ترمیمی آن را به حساب آوریم، ابتدا فرشتگان و سپس به ترتیب حضرت آدم (علیه‌السلام)، شیث (علیه‌السلام)، ابراهیم و اسماعیل (علیهما السلام)، عمالقه، قبیله‌ی جرهم، قریش، عبد الله بن زبیر، حجاج، سلطان مراد عثمانی، و در آخر بنای خادم الحرمین، ملک فهد بن عبد العزيز هر کدام مسجد الحرام را بازسازی کرده‌اند. والله اعلم.
بنا و بازسازی کعبه معظمه به زمانی باز می‌گردد که حضرت ابراهیم (علیه‌السلام) به همراه همسرش هاجر و فرزند شیرخوارش اسماعیل به مکه می‌آیند. حضرت ابراهیم (علیه‌السلام) هاجر و اسماعیل را در کنار بیت، نزد چاه زمزم می‌گذارد، روزگاری که کسی در آنجا سکونت نداشت و آبی در این مکان نبود.
ابراهیم (علیه‌السلام) آن دو را در آنجا با کیسه‌ای خرما و مشکیزه‌ای آب رها کرد و سپس بازگشت. هاجر نگران شده و به دنبال ابراهیم (علیه‌السلام) افتاد و گفت: ای ابراهیم! کجا می‌روی در حالی که ما را در این بیابان که هیچ موجودی در آن سکونت ندارد، رها می‌کنی؟
هاجر این جمله را چندین بار تکرار کرد، اما ابراهیم (علیه‌السلام) به وی نگاه نمی‌کرد. آن‌گاه هاجر به وی گفت: آیا الله تو را به این کار دستور داده است؟ ابراهیم (علیه‌السلام) فرمود: آری. آن‌گاه هاجر گفت: پس در این هنگام الله ما را ضایع نخواهد کرد و به نزد اسماعیل (علیه‌السلام) بازگشت.
ابراهیم (علیه‌السلام) به راهش ادامه داد تا این که به گردنه‌ها و تپه‌های مکه، جایی که هاجر او را نمی‌دید، رسید. آن‌گاه رو به بیت الله کرد و دست‌هایش را بلند نمود و این کلمات را تکرار فرمود: «رَبَّنَا إِنِّي أَسْكَنْتُ مِنْ ذُرِّيَّتِي بِوَادٍ غَيْرِ ذِي زَرْعٍ عِنْدَ بَيْتِكَ الْمُحَرَّمِ رَبَّنَا لِيُقِيمُوا الصَّلَاةَ فَاجْعَلْ أَفْئِدَةً مِنَ النَّاسِ تَهْوِي إِلَيْهِمْ وَارْزُقْهُمْ مِنَ الثَّمَرَاتِ لَعَلَّهُمْ يَشْكُرُونَ»؛ «پروردگارا! من بعضی از فرزندانم را به (فرمان تو) در سرزمین بدون کشت و زرعی، در کنار خانه‌ی تو، که آن را حرام ساخته‌ای سکونت داده‌ام، خداوندا تا این که نماز را برپای دارند، پس چنان کن که دل‌های گروهی از مردمان متوجه آنان گردد و ایشان را از میوه‌ها (و محصولات سایر جاها) بهره‌مند فرما، شاید که سپاسگزاری کنند».
ابراهیم (علیه‌السلام) ملکه را ترک نمود و هاجر تنها ماند و فرزندش را شیر می‌داد و از آن آب‌ها می‌خورد تا این که مشکیزه‌ی آب به پایان رسید و فرزندش تشنه شد. هاجر به پسرش می‌نگریست که چگونه از شدت تشنگی به خود می‌پیچد! لذا از آنجا برخاست تا او را در این وضعیت مشاهده نکند و کوه صفا را نزدیک‌ترین کوه دید. بر آن بالا رفت و به سمت رودخانه نگاه کرد تا کسی را ببیند، اما کسی را نیافت. لذا از کوه صفا پایین آمد تا این که در دل رودخانه رسید، آن‌گاه چادرش را بالا زد و به سرعت دوید تا این که از رودخانه گذر نمود و به مروه رسید. بر آن بالا رفت و به اطرافش نگریست تا کسی را بیابد، ولی کسی در آنجا نیافت. این عمل را هفت بار تکرار نمود. حضرت ابن عباس (رضی‌الله‌عنه) می‌گوید: رسول خدا (صلی‌الله‌علیه‌وآله‌وسلم) فرمود: «از این جهت مردم بین صفا و مروه سعی می‌کنند».
وقتی بر کوه مروه بالا رفت، صدایی شنید. با خود گفت: خاموش باش و دوباره گوش فرا داد و آن‌گاه گفت: اگر فریادرسی در این‌جا می‌بود، صدایش را می‌شنیدی. ناگهان فرشته‌ای را در محل زمزم دید که با بالش زمین را می‌کاوید تا این که آب آشکار گردید. در این هنگام هاجر آن را در یکجا جمع نمود و در حالی که آب فواره می‌زد، مشکیزه‌اش را آب نمود.
ابن عباس (رضی‌الله‌عنه) می‌گوید: رسول خدا (صلی‌الله‌علیه‌وآله‌وسلم) فرمود: «خداوند بر مادر اسماعیل رحم کند، اگر زمزم را رها می‌کرد»، یا این که فرمود: «اگر او از آن آب برنمی‌داشت، زمزم چشمه‌ای جاری و روان می‌شد». راوی می‌گوید: او آب نوشید و فرزندش را شیر داد. فرشته به او گفت: از هلاک شدن نترسید؛ زیرا این‌جا خانه‌ی خداست که این پسر و پدر، آن را خواهند ساخت. و خداوند، دوستانش را ضایع نمی‌گرداند. جای خانه کعبه، زمینی مرتفع و تپه مانندی بود که سیل، از چپ و راست آن، می‌گذشت. هاجر این‌گونه زندگی می‌کرد تا این که عده‌ای از قبیله‌ی جرهم که از راه کداء می‌آمدند، در قسمت پایین مکه، توقف کردند. پرنده‌ای را که غالباً دور آب می‌گردد، در آنجا دیدند و گفتند: این پرنده اطراف آب دور می‌زند. از زمانی که ما این رودخانه را می‌شناسیم، آبی در آن وجود نداشته است. سپس، یک یا دو نفر را جهت تحقیق فرستادند و آنان خبر آب را برایشان آوردند. آنان به سوی آب رفتند و در کنار آب، مادر اسماعیل را دیدند. به او گفتند: «آیا به ما اجازه می‌دهی که نزد تو بمانیم؟» گفت: «بلی. ولی شما هیچ‌گونه حقی از آب ندارید.» گفتند: «باشد.» و مادر اسماعیل که انس گرفتن با مردم را دوست داشت، پیشنهاد آنان را پذیرفت.
اسماعیل (علیه‌السلام) رشد کرد و نوجوان گردید و زبان عربی را از آنان فرا گرفت. هنگامی که به سن بلوغ رسید، یکی از دختران‌شان را به همسری گرفت و پس از مدتی، مادر اسماعیل (علیه‌السلام) فوت کرد.
سرانجام ابراهیم (علیه‌السلام) آمد تا خانواده‌اش را سر بزند و باز برگشت. دوباره آمد و گفت: «ای اسماعیل! خداوند مرا به کاری دستور داده است.» اسماعیل (علیه‌السلام) گفت: «آنچه را که الله به تو دستور داده است، انجام بده.» ابراهیم (علیه‌السلام) باز گفت: «آیا با من کمک می‌کنی؟» اسماعیل (علیه‌السلام) گفت: «با شما کمک می‌کنم.» آن‌گاه ابراهیم (علیه‌السلام) به او خبر داد که خداوند به من دستور داده است تا این‌جا خانه‌ای بسازم و با دستش به سوی تپه‌های مرتفع اطرافش اشاره کرد.
راوی می‌گوید: این‌جا بود که پایه‌های خانه‌ی خدا را بنا نهادند. اسماعیل (علیه‌السلام) سنگ می‌آورد و ابراهیم (علیه‌السلام) بنّایی می‌کرد و هر دو چنین دعا می‌کردند: «رَبَّنَا تَقَبَّلْ مِنَّا إِنَّكَ أَنْتَ السَّمِيعُ الْعَلِيمُ»؛ «پروردگارا! از ما بپذیر. همانا تو شنوا و دانایی.»
بنابراین، کعبه نخستین خانه‌ای است که در روی زمین برای پرستش خداوند بنا شده است. خداوند فرموده است: «إِنَّ أَوَّلَ بَيْتٍ وُضِعَ لِلنَّاسِ لَلَّذِي بِبَكَّةَ مُبَارَكًا وَهُدًى لِلْعَالَمِينَ»؛ «نخستین خانه‌ای که برای مردم بنیان‌گذاری شده است، خانه‌ای است که در مکه قرار دارد، پر برکت و نعمت است و مایه‌ی هدایت جهانیان است.»
امام بخاری از ابوذر روایت می‌کند که گفت: «پرسیدم: “ای رسول خدا! نخستین مسجدی که روی زمین ساخته شد، کدام است؟” رسول اکرم فرمود: “مسجد الحرام.” پرسیدم: “سپس کدام مسجد ساخته شد؟” فرمود: “مسجد الاقصی.” گفتم: “بین ساختن آن‌ها، چند سال فاصله افتاد؟” فرمود: “چهل سال.”»
بنای ابراهیم (علیه‌السلام) با گذاشتن سنگ‌ها روی هم بود، بدون اینکه ملات در میان آن‌ها باشد. فرشتگان سنگ‌ها را از کوه‌های طور سیناء، طور زیتا، لبنان، کوه جودی و حراء می‌آوردند. هر روز به اندازه یک ساق، یعنی یک ردیف از سنگ را بنا می‌کردند. وقتی به محل حجر الاسود رسیدند، ابراهیم (علیه‌السلام) از اسماعیل خواست تا سنگی بیاورد که نشانه‌ی محل آغاز طواف باشد.
آن‌گاه جبرئیل حجر الاسود را آورد که به شکل مستطیل بود و نه ذراع (حدود ۴ متر و ۳۲ سانتی‌متر) ارتفاع داشت. برای کعبه دو دروازه بدون در قرار داد که هم‌سطح زمین بودند و در درون آن حفره‌ای قرار داد که خزانه‌ی کعبه باشد. سقف آن را نپوشاند و در شمال آن سایه‌بانی منحنی شکل ساخت که امروز در محل حِجر واقع شده است.
