Järgmised aastakümned olid mõnevõrra vähem tormilised. Lida rüüstati 1506. aastal Krimmi tatarite poolt ja 1659. aastal Vene-Poola sõja ajal rüüstati see venelaste poolt. Rootslased vallutasid selle kaks korda Põhja-Ameerika sõja ajal ning lasid mõlemad tornid õhku lasta. 1794. aastal oli lossi territooriumil lahing Kościuszko järgijate vahel
ja venelased.