قلعه عظیم سفید اشکنان مقر حکومت خان‌های اشکنان در دوره قاجار بوده که اون زمان حاکم قسمت جنوبی استان فارس بودن و بر اساس اسنادی که وجود داره، مسئولیت دریافت مالیات از بخش عمده‌ای از استان هرمزگان، بخش شیبکوه فعلی و جزایر تابعه از جمله کیش رو بر عهده داشتن. این قلعه بزرگ که شامل شش حیاط مجزا، چهار برج نگهبانی و یک خندق عمیق دورتادورش میشه، در شش طبقه و به متراژ حدود چهار هزارمتر مربع ساخته شده و به عنوان قلعه‌ مرکزی شناخته می‌شده و چند قلعه‌ دیگه که کوچیک‌تر از اون بودن، در روستاها و منطقه‌های زیر نظر اون وجود داشتن که کارگزارها در اون‌ها فرماندهی می‌کردن. یکی از ویژگی‌های قلعه عظیم سفید اشکنان برج بزرگ وسط قلعه ست که نگهبان، نردبان طنابی اون رو با خودش بالا می‌کشیده و کسی جز نگهبان نمی‌تونسته به اون‌جا وارد بشه. این برج به کل قلعه، خونه‌های اطراف و دشت پیرامون خودش اشراف داشته و توسط علی خان، کلانتر وقت، ساخته شده. علی خان که خان بوده و شوکت الممالکی رو از حاکم فارس دریافت کرده بوده، مرد رعیت دوست و آینده نگری بوده و به همین دلیل پروژه‌های عمرانی‌ای در شهر انجام داده که باعث رونق شهر شدن.
این قلعه بزرگ اوایل قرن اخیر، سال 1306 شمسی، به بهانه گسترش قدرت مرکزی و به خاطر کدورت خاطر رضا خان از خان‌های جنوب فارس و موضع گیری سیاسی اون‌ها در سال‌های مشروطه و همینطور به خاطر شکایت عده‌ای از اهالی از ساکنان قلعه، مورد هجوم سربازهای رضا خان قرار گرفت و تخریب شد. البته گذشت زمان و کم توجهی به اون باعث شده که فقط آثار مختصری از اون باقی بمونه و در حال حاضر فقط بخشی از دیواره‌‌های طبقه همکف و یه برج نیمه مخروبه و خندقی پر از آوار ساختمانی ازش به یادگار بمونه که به خاطر کم توجهی داره کاملا خراب میشه.