Im Zweiten Weltkrieg wurde das Gebäude, nicht aber der Turm, schwer beschädigt. 1963 wurde das Wahrzeichen gesprengt und das Restgebäude abgetragen. 1963-66 wurde auf der „Johns’schen Ecke“ der neue Kaispeicher A errichtet.