خانه حاج آقا علی که در 6 کیلومتری جنوب شرقی رفسنجان در روستای قاسم آباد واقع شده است به عنوان یکی از بزرگترین خانه‌های خشتی جهان شناخته می‌شود.
این خانه به دستور حاج آقا علی که یک تاجر مشهور بوده در سال 1136 ساخته شده است. این خانه که یکی از باشکوه‌ترین بنا‌های دوران قاجار به حساب مي‌آید شامل: 86 اتاق (سه دری پنج دری هفت دری) و چهار بخش اصلی (حوض‌خانه، شاه نشین، پاییزی و زمستانی) و آشپزخانه و انبار است. همچنین این خانه دارای 3 حیاط و 4 هشتی نیز است که از طریق آن‌ها می‌توان به قسمت‌های مختلف خانه رفت و آمد کرد.
زیر بنای این خانه بالغ بر 7000 متر مربع است و مساحتی حدود 12000 متر مربع دارد. در ساخت این خانه از دیوارهای بسیار بلند و دروازه‌ای رفیع و باشکوه استفاده شده است تا از ورود شن‌های روان صحراهای اطراف به خانه جلوگیری شود. بخش‌های داخلی این خانه تماماً قرینه هستند.
بازدید از این خانه تاریخی بزرگ و باشکوه باعث شگفت زده شدن شما خواهد شد چرا که علاوه بر وسعت زیاد این خانه سبک معماری خاص و زیبا و تزئینات بسیار قشنگی نیز دارد.