Naast het laatste huis van Marie-Antoinette was het paleis een favoriet van Napoleon III en zijn vrouw Eugenie, wiens extravagante herinneringen de Musee du Second-Empire vormen.
Het paleis heeft door de jaren heen veel beroemde figuren verhuisd.