برخی از مورخین به این امر اشاره دارند که عمر بنای ابراهیم (علیه السلام) به چهار هزار سال می‌رسد و تُبَّع أسعد حِمیَری نخستین کسی بود که برای مکه دروازه‌ای گذاشت که باز و بسته می‌شد. برخی گفته‌اند: «قبیله‌ی جرهم به این کار اقدام کردند.» همچنین در زمان قریش، پس از ویران شدن قسمت اعظم کعبه به سبب آتش‌سوزی در پرده‌ی کعبه، پنج سال قبل از بعثت پیامبر (صلی الله علیه وسلم)، قریش تصمیم گرفت آن را بازسازی کند. اما چون هزینه‌ی کافی از مال حلال نداشتند، مساحت آن را تغییر دادند، زیرا عهد کرده بودند که بازسازی کعبه فقط از مال حلال باشد. از این‌رو بخشی از بنای آن را در قسمت شمال، که امروزه به حطیم مشهور است، در بیرون بیت باقی گذاشتند و ارتفاع آن را ۸ متر و ۶۴ سانتیمتر قرار دادند.
مجددًا، عبدالله بن زبیر در سال ۶۵ هـجری، پس از آن که آتش‌سوزی در پرده‌ی کعبه روی داد و در دیوارهایش تأثیر گذاشت، آن را بازسازی کرد. چون از خاله‌اش ام المؤمنین عایشه (رضی الله عنه) روایتی از رسول خدا (صلی الله علیه وسلم) شنیده بود که فرمود: «ای عایشه! اگر قوم تو به زمان شِرکشان نزدیک نمی‌بودند، من کعبه را ویران می‌کردم و آن را با زمین هموار و برای آن دو دروازه‌ی شرقی و غربی قرار می‌دادم و شش زراع حجر را به آن می‌افزودم؛ زیرا قریش به هنگام بنای آن، این قسمت را در بیرون قرار داده‌اند».
با توجه به این حدیث، عبدالله بن زبیر دیوارهای چهار ضلع کعبه را تخریب و با زمین یکسان نمود و به جای آن پرده‌هایی نصب کرد تا مردم به سمت آن نماز بخوانند. سپس آن را به بنای ابراهیم (علیه السلام) بازگرداند و ارتفاع آن را به ۱۲.۹۵ متر قرار داد. سنگ‌های آن را از کوه‌های حراء، ثبیر، مقطع، خندمه، حلحله، جبل کعبه و مردله تهیه کرد.
حجاج بن یوسف ثقفی دیوار شمالی کعبه را تخریب کرد و آن را به بنای قبلی قریش بازگرداند، زیرا معتقد بود که عبدالله بن زبیر چیزی را که جزو کعبه نبوده، به آن افزوده است. او و خلیفه عبدالملک از حدیث عایشه (رضی الله عنها) بی‌اطلاع بودند. پس از آن که حجاج از بنای جدید و بازگرداندن آن به بنای قبلی قریش فارغ شد، این حدیث به وی رسید. عبدالملک پس از اطلاع یافتن از صحت حدیث عایشه (رضی الله عنها) سخت نادم و متأسف شد.
سپس سلطان مراد چهارم در سال ۱۰۴۰ هـجری، پس از آن که بخشی از کعبه در اثر سیلی ویرانگر در ۱۹ شعبان سال ۱۰۳۹ هـجری ویران شد، آن را بازسازی کرد. سلطان مراد کل دیوارها را تخریب نکرد، بلکه تا رده سنگ اول آن را تخریب نمود و حجر اسود را تکان نداد و بر بنای حجاج آن را کامل کرد. سنگ‌های آن را از جبل کعبه (شبیکه که هنوز هم وجود دارد) که سنگ‌هایی مستحکم و قوی و مایل به رنگ آبی آسمانی بودند، تهیه کرد.
یکی از مورخین به نام محمد طاهر کردی در سال ۱۳۷۷ هـجری به شمارش سنگ‌های کعبه پرداخت و مجموع سنگ‌های آن را ۱۶۱۴ سنگ برآورد کرد. مجموعه‌ی سنگ‌های دیواری که دروازه‌ی کعبه در آن قرار دارد، ۴۱۹ عدد، دیوار غربی کعبه که مقابل دروازه‌ی کعبه است، ۴۴۹ عدد، دیوار جنوبی که در میان رکن یمانی و حجر اسود قرار دارد، ۴۲۸ عدد و دیوار شمالی جهت میزاب رحمت و حجر اسماعیل ۳۱۸ عدد سنگ به کار رفته است. این‌ها سنگ‌های ظاهری و از بیرون کعبه هستند و شامل سنگ‌های داخل آن نمی‌شوند.
بزرگ‌ترین سنگ به کار رفته در کعبه ۱۹۰ سانتیمتر طول و ۵۰ سانتیمتر عرض و کوچک‌ترین آن ۵۰ سانتیمتر طول و ۴۰ سانتیمتر عرض دارد. ضخامت دیوار آن ۹۰ سانتیمتر است و آهک مکه و گچ نیز در بنای کعبه به کار رفته است. کعبه ۳۷ بار ترمیم یافته و آخرین ترمیم آن، پس از ۱۲۵۰ سال در ۸ شعبان سال ۱۴۱۷ هـ در عهد ملک فهد بن عبدالعزیز انجام گرفت. در این ترمیم، فرسودگی‌های دیوارهای خارجی برداشته و سنگ‌های مشابهی به آن افزوده شد. بالای سنگ‌ها از داخل تمیز شدند و سقف کعبه که شامل ۲۳ عدد چوب بود و ستون‌های سه‌گانه‌ی داخلی آن نیز تغییر داده و فرسودگی‌های آن سامان بخشیده شد. برخی از سنگ‌های داخلی جدا و مجزا شده و از نو با ترکیبات چسبنده و قوی بازسازی شدند. همچنین در داخل کعبه حفره‌ای کندند تا از صلابت و شایستگی اساس کعبه مطمئن گردند.
مهندسان سعودی که بر پروژه‌ی ترمیم کعبهی مشرفه نظارت داشتند و اساس و زیربنای آن را مشاهده کردند، به صلابت و استحکام بنای آن اطمینان پیدا نمودند. آنها دریافتند که این سنگ‌ها به صورت بسیار مستحکم و بدون نیاز به ماده‌ی ارتباط دهنده‌ای، مانند گردن شتر، در تداخل هم قرار گرفته و در وضعیتی بسیار مطلوب هستند. این زیر بنا شایستگی آن را دارد که بدون هیچ دستبردی اساس‌گذاری شود و در برابر عوامل پیش آمده، از قبیل سیل‌های ویرانگری که کعبه را در نوردیده‌اند، مقاومت کند. همچنین، این زیر بنا شایستگی حمل بنای کعبه را تا قیامت خواهد داشت.
سنگ‌های حجر اسماعیل را نیز تعویض کردند و برای اولین بار در کنار حجر اسود سکویی ساخته شد تا مأمور نگهبانی برای تنظیم بوسه بر حجر اسود بر آن قرار گیرد. مرمرهای قدیمی حجر اسود نیز برداشته شده و با مرمرهای جدید تعویض شدند.
بنابراین، خادم الحرمین الشریفین، ملک عبدالله بن عبدالعزیز به نیابت از خادم الحرمین الشریفین، ملک فهد بن عبدالعزیز به مناسبت بزرگداشت پایان ترمیم آن تشریف آورد.
کعبهی مشرفه در زیر و موازی بیت المعمور قرار دارد که در آسمان هفتم بوده و فرشتگان به دور آن طواف می‌کنند و همانند اهل زمین در آنجا به عبادت الله می‌پردازند و کعبهی اهل آسمان به شمار می‌آید.
قتاده گفته است: «رسول خدا (صلی الله علیه وسلم) برای ما بیان کرده و فرمود: “آیا شما می‌دانید بیت المعمور چیست؟” صحابه عرض کردند: “الله و رسول او بهتر می‌دانند.” فرمود: “آن مسجدی در آسمان است که زیر آن کعبه قرار دارد و اگر فرو افتد، بر آن می‌افتد.”»
علم جدید ثابت کرده است که مکه و کعبه مشرفه مرکز زمین هستند و همه‌ی کشورهای جهان در اطراف آنها قرار دارند. خداوند متعال می‌فرماید: «لِتُنْذِرَ أُمَّ الْقُرَى وَمَنْ حَوْلَهَا»؛ «تا مردم ام‌القرى و اطراف آن را بترسانی.»
پایه‌های کعبه مشرفه به شکل مستطیل قرار دارند و ارکان و زاویه‌های چهارگانه‌ی آن به چهار جهت اصلی جغرافیایی بنا شده‌اند. طول دیوارهای آن، از سمت حجر اسود تا رکن یمانی حدود ۱۰ متر و دیوار مقابل آن از جهت حجر اسود تا رکن یمانی نیز حدود ۱۰ متر است. دیوار حجر اسود به سمت رکن شامی یا عراقی ۱۲ متر و ارتفاع فعلی آن ۱۴ متر می‌باشد.
کعبهی مشرفه دارای چهار رکن است که عبارت‌اند از: رکن حجر اسود که در شرق کعبه قرار دارد، رکن یمانی که در جنوب کعبه واقع شده، رکن عراقی که در شمال و رکن شامی که در غرب قرار دارند. در قسمت راست کعبهی مشرفه، راه پله نردبانی شکلی برای رسیدن به سطح آن وجود دارد. سه ستون چوبی که سقف کعبه بر آنها قرار دارد از مستحکم‌ترین نوع چوب‌ها هستند که توسط عبدالله بن زبیر (رضی‌الله‌عنه) قرار داده شده‌اند و ۱۲۵۰ سال از عمر آنها می‌گذرد. محیط هر ستون ۱۵۰ سانتیمتر و قطر آن ۴۴ سانتیمتر است. اشیایی بر این ستون‌ها آویزان است که به کعبه هدیه شده‌اند. هر ستون، پایه‌هایی از چوب دارد که در زمان ملک فهد بن عبدالعزیز در سال ۱۴۱۷ هـجری تغییر یافته و با چوب‌هایی قوی‌تر از درخت «التیک» که نظیر آن فقط در کشور بورمه یافت می‌شود، جایگزین شدند. این چوب‌ها به خاطر مقاومت در برابر موریانه، زیر کعبه و دیوارهای چهارگانه آن را به اندازه‌ی چهار متر با مرمر سفید فرش کردند، بدون آنکه ستون‌ها به دیوار اصلی کعبه تماس داشته باشند. مسافت باقی‌مانده تا سقف با پرده‌ی داخلی سبز رنگی پوشانده شده است.
در داخل کعبه ده سنگ بکار رفته که همه از سنگ مرمر سفید هستند و کندهکاری شده و نامهای خلفا و پادشاهانی که به ترمیم و بازسازی کعبهی مشرفه از قرن ششم هجری تا به امروز پرداختهاند، نوشته شده است و همگی در ارتفاع ۱۴۴ سانتیمتر از سطح زمین کعبه قرار دارند.
در داخل کعبه هیچ نور و منفذی که نور را به داخل آن هدایت کند، وجود ندارد و به هنگام شستن کعبهی مشرفه از نردبانهایی برای بالا رفتن به داخل کعبه، تامین نور و تغییر درجهی هوای آن استفاده می‌گردد.
