Здание старое очень и, конечно, требует реконструкции. Но это тот редкий случай, когда приезжий в город Касимов может узреть остатки от архитектурного искусства прошлых лет. Однако власти города решили реконструировать усадьбу к 2019 году, а это значит, что город навсегда потеряет часть уникального исторического сооружения из красного кирпича с высокими колоннами. Так, что нужно успевать полюбоваться местом, где когда-то жили самые знаменитые и важные люди города.
Построена усадьба была в 1844 году талантливым местным зодчим Гагиным. Место расположения выбрано удачно - берег реки Ока. Изначально дом строился для промышленника Шемякина, но не случилось у богатея выкупить это здание. А в 1900 году хозяином дома стал крупный торговец Кастров, который прожил там до революции. В 1918 году вся усадьба со всеми зданиями была муниципализирована под библиотеки и прочие кабинеты. Сегодня она привлекает туристов в виде исторического значимого места, на фоне которого можно сделать сюжетные фотографии. Кинорежиссеры ни один раз использовали усадьбу для своих целей. Всего через несколько лет на месте дома Кастровых построится гостиница с ресторанами, которая будет мало напоминать людям о прошлом столетии.