Piazza della Signoria'daki Palazzo Vecchio'da kısa bir süre yaşadıktan sonra, I. Duke Cosimo ve eşi Toledo'lu Eleonora, 1549 yılında Medici'nin resmi ikametgahı olarak iflas etmiş Pitti tüccar ailesinden sarayı satın aldı; yüzyıllar boyunca büyük ölçüde büyütülmüş ve süslenmiştir.
Medici'nin resmi evi eskiden Pitti ailesine aitti.
Toledo'lu Eleonora Duke Cosimo'nun kızıydı.