На берегу Оки в Касимове расположился двухэтажный дом в классическом стиле татарского купца Кастрова. В свое время, семя Кастровых была ведущей татарской торгово-промышленной фамилией Касимова.
Дом Хайруллы Кастрова находится на углу площади Победы (бывшей Ханской площади) и улицы Большакова (Долгой). Его фундамент и стены сделаны из красного кирпича, а цоколь облицован белокаменными блоками.
Во дворе усадьбы были производственные помещения, в который занимались выделкой мерлушки – кожи новорожденного ягненка, пользовавшейся большим спросом на рынке. Недалеко от имения находилось медресе – мусульманская средняя и высшая школа, в которой готовят служителей культа, учителей и служащих государственного аппарата. С конца 1869-х годов Кастровы были его попечителями.
Старожилы называют господский дом – домом Ахмеда Кастрова, последнего владельца усадьбы, которому она принадлежала в начале XX века.
После национализации в доме располагались детский сад, затем родильное отделение и женская консультация. С 2012 года он пустует.
Усадьба считается одной из самых красивых в городе. Она была передана меценату и реставратору Андрею Филиппову несколько лет назад. К сегодняшнему дню значительная часть работ уже завершена.