See hoone oli tolleaegse linnapea Don Francisco Tadeo Diez de Medina y Vidango elukoht. Hiljem sai see Arana krahvide omandiks, seejärel La Pazi revolutsiooni ajal.
See sai Villaverde markide omandiks. 19. sajandi lõpus toimis see kuulsa Gisberti hotelliks. Aastal 1964 kohandati paleed, et majutada Boliivia Riiklikku Kunstimuuseumi, säilitades selle kaks õue ja kolm tasandit. Peamine sissepääs asub Socabaya tänaval.