Дом, составляющий архитектурное ядро нынешнего дворца, был построен для первого герцога Бекингема и Норманби в 1703 году по проекту Уильяма Винда.
Он был построен Джоном Шеффилдом, 1-м герцогом Бекингема и Норманби в 1703 году.