Durante el siglo XIX fue ampliado, principalmente por los arquitectos John Nash y Edward Blore, que construyeron tres alas alrededor de un patio central. John Nash (arquitecto). Sus edificios más conocidos son el Royal Pavilion, Brighton y el Palacio de Buckingham (aunque la fachada que da al centro comercial es una remodelación de principios del siglo XX por parte de Aston Webb de un ala de la década de 1850 por Edward Blore).
John Nash diseñó el Palacio de Buckingham.