عمر بن عبدالعزیز همین‌که زمام حکومت را به دست گرفت، بدون تأخیر و درنگ چند نفر حاکم را که خیلی ظالم و خداناترس بودند پاک‌سازی کرد و شوکت و اریکۀ پادشاهی‌ای را که به آن‌ها تقدیم شده بود همه را به بیت‌المال سپرد و از همان لحظهٔ نخست رفتارش یکسره عوض شد. اکنون او جانشین سلیمان نبود؛ بلکه گوئی جانشین عمر بن خطاب، حاکم شده بود. پس از تحقیق و بررسی، همۀ کنیزان را به خانواده‌های‌شان برگردانید و به مظالم رسیدگی کرد و دربارش را که به‌صورت دربارهای کسری و قیصر درآمده بودند، طبق روش سادۀ خلافت راشده و مطابق با سنت پیامبر اسلام صلی‌الله‌علیه‌و‌سلم گردانید. املاک سلطنتی را به مسلمانان واپس نمود. زیورآلات همسرش را به بیت‌المال تحویل داد و چنان زندگی زاهدانه‌ای اختیار کرد که نظیرش نه‌تنها در میان درویشان بلکه در میان روستائیان و فقراء نیز کمیاب بود. به‌قدری کمبود لباس اختیار کرده بود که گاه‌گاه به دلیل خشک‌کردن لباس‌هایش در نماز جمعه تأخیر می‌شد. امویانی که همۀ اموال سلطنتی و بیت‌المال را ملک شخصی خود می‌دانستند، حالا سهمیۀ اندک و مساوی با دیگران می‌گرفتند. حتی حال خانواده‌اش چنان بود که در موردش گفته‌اند: روزی عمر با دخترانش صحبت می‌کرد، زمانی‌که دختران با وی صحبت می‌کردند، دست خود را به دهن می‌گذاشتند. پس از سؤال گفتند: چون ما فقط عدس و پیاز خورده‌ایم، ازاین‌رو، دهن ما بو می‌دهد و ما این کار را می‌کنیم. عمر اشک‌ریزان در جواب‌شان فرمود: آیا شما راضی هستید که غذاهای لذیذ و متنوع بخورید و پدرتان به جهنم برود. با شنیدن این سخن همه به گریه آمدند.
زمانی‌که عمر بن عبدالعزیز حاکم بزرگ‌ترین سلطنت روی زمین بود، حالت دارایی شخصی‌اش چنان بود که علی‌رغم عشق و علاقۀ زیادی که به سفر حج داشت، مخارج آن را نداشت. از خدمت‌گذارش که یکی از یاران مخلص وی بود، پرسید: چه مقدار پول دارید؟ گفت: ده تا دوازده دینار. فرمود: با این مقدار حج چگونه ممکن است؟ پس از این موضوع، مالیات هنگفتی که قبلاً صرف خانوادۀ سلطنتی می‌شد، به بیت‌المال رسید. خدمت‌گذار وی به خدمت رسیده تبریک گفت و اظهار داشت که مخارج حج فراهم شده است. عمر بن عبدالعزیز در جواب فرمود: ما از این مال مدت‌های طولانی استفاده کرده‌ایم، حالا این حق مسلمانان است که از آن استفاده نمایند و سپس همۀ آن‌ها را به بیت‌المال سپرد. هزینۀ دو وعده‌غذای خانواده‌اش روزانه بیش از دو درهم نبود. به‌قدری محتاط بود که اگر چراغ دولتی روشن می‌شد و کسی برای احوال‌پرسی‌اش می‌آمد و با صحبت‌های شخصی آغاز می‌شد، بلافاصله چراغ دولتی را خاموش و چراغ شخصی‌اش را از منزل خواسته روشن می‌کرد و آبی که در آشپزخانۀ بیت‌المال گرم می‌شد، برای غسل از آن پرهیز می‌کرد و رسیدن بوی خوش مشک بیت‌المال را به مشامش نمی‌پسندید.
این احتیاط وی محدود به ذات خودش نبود؛ بلکه همۀ عیال و کارکنان دولت را به رعایت اعتدال مکلف می‌نمود و از همۀ آن‌ها همین توقع را داشت که در معاملات دولتی به‌اندازۀ خود وی محتاط و دقیق باشند. والی مدینه، ابوبکر بن حزم از سلیمان بن عبدالملک تقاضا کرده بود که مانند دوران گذشته برای آن‌ها شمع‌ها و قندیل‌های دولتی ارسال گردد. این نامه پس از وفات سلیمان به عمر بن عبدالعزیز رسید. عمر در جوابش نوشت: من به یاد دارم که تو پیش از این‌که به این مقام برسی در شب‌های تاریک زمستان، بدون چراغ و شمع بیرون می‌رفتی و آن حالت شما از این حالت بهتر بود؛ و به گمان من شما در خانۀ‌تان شمع و قندیل‌های کافی دارید، از همان‌ها استفاده کنید.
همین‌طور، در جواب تقاضایی که کارمندان دولتی جهت کاغذ کرده بودند، نوشت: قلم را باریک‌تر بتراشید و حروف را ریز و نزدیک هم بنویسید و در یک ورقۀ کوچک مطالب زیادی بنویسید؛ زیرا مسلمانان به چنین صحبت‌های طولانی که بار سنگینی به بیت‌المال وارد کند، نیاز ندارند.
