Idlewild on olnud varemeid, sest see põles aprillis 2003 pärast vandaalide põletamist. Idlewild kannatas 2006. aasta augustis taas väiksemast veranda tulekahjust. Maavärin.
23. augustil 2011 kahjustas põhilise maja korstnad ja hävitas kahe suveköögi korstna. Maja tellistest seinad on tugevdatud terasest palgedega ning maavärin ei kahjustanud neid enam-vähem. Arvestades, et maja on stabiilses seisundis, on palju teooriaid, kuidas Downmani maja maha põles, kõige tõenäolisemalt vandaalid. On ka teisi, näiteks kodutuid laagritsejaid, kes süütavad tulekahju kõige nõrgemal kaminal.