Der Stadtpalast kam 1812 in den Besitz von Talleyrand († 1838) und wurde nach dessen Tod von Baron James de Rothschild (eigentlich Jakob Mayer Rothschild), dem jüngsten der fünf Rothschild -Brüder und Begründer des französischen Familienzweigs, gekauft.