כתוב המשך לפרק זה - הארמון נבנה בתחילה על ידי מוחמד הראשון, אמיר אומיאד של קורדובה, בין 860 ל-880. לאחר שהמורות גורשו מטולדו במאה ה-11, הטירה שמרה על תפקידה ההגנה. הנרי השלישי מקסטיליה הוסיף כמה מגדלים. בנו יוחנן השני השתמש בו כבית מגורים מלכותי. במהלך מלחמת הירושה הקסטילית
(1476) חייליו של ג'ואנה לה בלטרניה הוקמו באלקזר, שבמהלכו נגרם נזק חמור לבניין.