قلعه باقرآباد به دستور عبدالرحیم خان فرزند محمدتقی خان بافقی ساخته شده. قلعه، در سه مرحله ساخته شده، اول برج شمالی رو ساختن و 10 سال بعد ساختن قسمت جنوبی رو شروع کردن. روستای باقرآباد در هشت کیلومتری مرکز شهرستان بافق قرار داره و درست در شمالی‌ترین نقطه این روستا، قلعه‌ای به نام قلعه باقرآباد وجود داره که قدمتش به دوره قاجار برمی‌گرده.
در سال 1298هجری شمسی که در کشور قحطی و گرسنگی رواج پیدا کرد و این اتفاق‌ها با جنگ جهانی مصادف شده بود، مردم مجبور شدن دور قلعه رو حصار بکشن. این قلعه از خشت و گل ساخته شده. برج شمالی قلعه که 8 متر ارتفاع داره، دو طبقه، سه سنگ‌انداز و 10 جایگاه تیرانداز داره. برج دوم قلعه که در قسمت جنوبی قلعه قرار داره، به صورت هشت ضلعی ساخته شده، 11 متر ارتفاع داره و در دو طبقه، دارای 16 روزن تیرانداز و چهار سنگ‌انداز هست. قلعه 45 اتاق با اندازه‌های متفاوت داره. سه راهرو داخل قلعه وجود داره که راهروی اول برج جنوبی رو به برج شمالی متصل می‌کنه و دو راهروی دیگه در دو طرف راهروی اول قرار داره و دسترسی به اتاق های قلعه رو امکان پذیر میکنه. این قلعه با شماره 13000 در فهرست آثار ملی ثبت شده.