عمارت (سرای) کاظمی در خیابان پانزده خرداد، کنار امامزاده یحیی واقع شده است. این بنا متعلق به سید احمد خان کاظمی مستوفی پسر میرزا هدایت‌اله خان تفرشی است. سید احمد خان کاظمی در سال 1266 هجری قمری متولد و در سال 1308 هجری قمری از دنیا رفت. او از مأموران پر سابقه‌ی دولت در آن زمان به حساب آمده و به نوشته‌ی اعتمادالسلطنه، مستوفی اصطبل مبارکه‌ی ناصرالدین شاه قاجار بوده است. این ملک به صورت نگینی در مرکزیت چندین پلاک همجوار قرار داشته و در همسایگی امامزاده یحیی از نعمات آب‌های جاری و هوای روحانی امامزاده بهره می‌گرفته است. عمارت کاظمی دارای ویژگی‌ خانه‌های سنتی ایرانی شامل بیرونی، اندرونی، آب انبار، مطبخ، اصطبل و سایر ملحقات بوده است. این عمارت در بهمن ماه سال 1379 در فهرست آثار ملی به ثبت رسید و به خانه موزه تهران قدیم نام‌ گذاری شد.