Das Stadthaus der Familie hatte sich in Millbank befunden, aber 1806 kaufte Robert Grosvenor ein Haus in der heutigen Upper Grosvenor Street und ließ es erheblich vergrößern; dieses Gebäude wurde Grosvenor House.