Al-Jami' al-Aqsha
Selama berabad-abad, yang dimaksud dengan Masjid Al-Aqsha adalah keseluruhan kompleks tersebut, yang dianggap sebagai suatu wilayah yang suci. Perubahan penyebutan kemudian terjadi pada masa pemerintahan Kesultanan Utsmaniyah, di mana wilayah kompleks secara keseluruhan disebut sebagai "Al-Haram asy-Syarif"; sedangkan bangunan yang terletak di bagian selatan disebut sebagai Al-Jami' al-Aqsha, yaitu tempat Umar bin Khaththab pertama kali mendirikan masjid di antara reruntuhan. Hadits Imam Ahmad menyebutkan percakapan Umar bin Khattab dan Ka'ab al-Ahbar, di mana Ka'ab menyarankan untuk membangun masjid di belakang batu Ash-Shakhrah, sedangkan Umar menolak dan memilih tempat di sebelah selatan untuk membangun masjid dengan kiblat yang mengarah ke Ka'bah saja, sehingga posisi batu tersebut berada di belakangnya.
Al-Jami' al-Aqsha yang didirikan Umar bin Khattab tersebut, juga berbeda dengan Masjid Umar, yaitu sebuah masjid yang dibangun pada masa kekuasaan Dinasti Ayyubiyah pada abad ke-12, untuk mengenang pengambil-alihan Yerusalem oleh Umar bin Khattab yang mewakili umat Islam. Tradisi setempat menceritakan bahwa pada saat pengambil-alihan tersebut, Umar diundang oleh Patriark Sophonius untuk beribadah di dalam Gereja Makam Kudus, namun Umar memilih mengerjakan salat di luar, di dekat pintu masuk gereja. Masjid Umar terletak bersebrangan dengan Gereja Makam Kudus, di luar kompleks Masjid Al-Aqsha.
Al-Jami' al-Aqsha
Pada tahun 1033 terjadi lagi sebuah gempa bumi, yang sangat merusak masjid. Antara tahun 1034 dan 1036, khalifah Fatimiyah Ali Azh Zhahir membangun kembali dan merenovasi masjid secara menyeluruh. Jumlah lengkungan secara drastis dikurangi dari lima belas menjadi tujuh. Azh Zhahir membangun empat buah arkade untuk aula tengah dan lorong, yang saat ini berfungsi sebagai fondasi masjid. Aula tengah diperbesar dua kali lipat dari lebar lorong lainnya, dan memiliki ujung atap besar yang di atasnya dibangun sebuah kubah dari kayu.
Yerusalem direbut oleh Tentara Salib pada tahun 1099, selama Perang Salib Pertama. Alih-alih menghancurkan Al-Jami' al-Aqsha, yang mereka sebut "Bait Salomo", Tentara Salib menggunakannya sebagai istana kerajaan dan kandang kuda. Pada tahun 1119, tempat ini berubah menjadi markas para Ksatria Templar. Selama periode ini, masjid mengalami beberapa perubahan struktural, termasuk perluasan serambi utara, penambahan apse, dan sebuah dinding pembatas. Sebuah kloster baru dan sebuah gereja juga dibangun di situs tersebut, bersama dengan beberapa struktur bangunan lainnya. Para Ksatria Templar membangun pavilyun berkubah di sisi barat dan timur bangunan. Pavilyun barat saat ini berfungsi sebagai masjid untuk jamaah perempuan dan pavilyun timur berfungsi sebagai Museum Islam.