Die verbliebenen mittelalterlichen Palastanlagen außerhalb des White Towers fielen zwei großen Feuern in den Jahren 1774 und 1788 zum Opfer, ihre Reste wurden danach schnell abgerissen und durch neue Lager- und Verwaltungsgebäude ersetzt.