Palats ehitati algselt Muhammad I, Cordoba omajaadide emiri poolt aastatel 860-880. Pärast seda, kui 11. sajandil maurid Toledost välja aeti, säilitas loss oma kaitsefunktsiooni. Kastiilia kuningas Henry III lisas sinna mitu torni. Tema poeg Johann II kasutas seda kuningliku elukohana. Kastilia pärilussõja ajal
(1476) Joanna la Beltraneja väed olid Alcázaris piiratud, mille ajal sai hoone tõsiseid kahjustusi.