Юсуповы
Юсуф-мурза, сын Муса-мурзы, как следует из его переписки с Иваном Грозным, считал своим предком Едигея, ходившего с походом на Москву в 1408 году. У него было два сына, "Иль-мурза" и "Ибрагим" (Абрей), которых он отправил в 1565 году в Москву, а также дочь — казанская царица Сююмбике.
Палаты Волковых — Юсуповых
В конце XVII века Пётр I дворец был пожалован второму по рангу после Гаврилы Головкина дипломату петровского времени, вице-канцлеру и кавалеру ордена св. Андрея Первозванного (1719) П. П. Шафирову. В 1723 году император гостил здесь у Шафирова в усадьбе, об этом свидетельствует походный журнал государя.