Название происходит от огромного дворца Уайтхолл, который раньше занимал эту территорию, но был в значительной степени разрушен пожаром в 1698 году.
Трафальгарская площадь была построена на ее северной оконечности в начале 19 века.