Al-Jami' al-Aqsha
Selama berabad-abad, yang dimaksud dengan Masjid Al-Aqsha adalah keseluruhan kompleks tersebut, yang dianggap sebagai suatu wilayah yang suci. Perubahan penyebutan kemudian terjadi pada masa pemerintahan Kesultanan Utsmaniyah, di mana wilayah kompleks secara keseluruhan disebut sebagai "Al-Haram asy-Syarif"; sedangkan bangunan yang terletak di bagian selatan disebut sebagai Al-Jami' al-Aqsha, yaitu tempat Umar bin Khaththab pertama kali mendirikan masjid di antara reruntuhan. Hadits Imam Ahmad menyebutkan percakapan Umar bin Khattab dan Ka'ab al-Ahbar, di mana Ka'ab menyarankan untuk membangun masjid di belakang batu Ash-Shakhrah, sedangkan Umar menolak dan memilih tempat di sebelah selatan untuk membangun masjid dengan kiblat yang mengarah ke Ka'bah saja, sehingga posisi batu tersebut berada di belakangnya.
Al-Jami' al-Aqsha yang didirikan Umar bin Khattab tersebut, juga berbeda dengan Masjid Umar, yaitu sebuah masjid yang dibangun pada masa kekuasaan Dinasti Ayyubiyah pada abad ke-12, untuk mengenang pengambil-alihan Yerusalem oleh Umar bin Khattab yang mewakili umat Islam. Tradisi setempat menceritakan bahwa pada saat pengambil-alihan tersebut, Umar diundang oleh Patriark Sophonius untuk beribadah di dalam Gereja Makam Kudus, namun Umar memilih mengerjakan salat di luar, di dekat pintu masuk gereja. Masjid Umar terletak bersebrangan dengan Gereja Makam Kudus, di luar kompleks Masjid Al-Aqsha.
Masjid Al-Aqsha
Pada tahun 637, umat Islam mengambil alih kepemimpinan atas Yerusalem dari tangan Romawi Timur pada masa kepemimpinan Khalifah Umar bin Khaththab. Kompleks reruntuhan Bait Suci, dikenal sebagai Masjid Al Aqsha atau Baitul Maqdis oleh umat Islam, ditemukan Umar dalam keadaan tidak terawat. Meski begitu, Umar kemudian menemukan Batu Fondasi atas bantuan Ka’b Al Ahbar, seorang Yahudi yang telah masuk Islam. Batu ini diyakini sebagai titik pijakan Nabi Muhammad naik ke langit dalam kepercayaan umat Islam dan tempat Nabi Ibrahim (Abraham) hendak menyembelih anaknya, Ishaq, dalam kepercayaan umat Yahudi. Al Ahbar mengusulkan untuk membangun masjid di sebelah utara batu tersebut agar umat Islam dapat menghadap ke arah Ka’bah dan batu tersebut dalam satu garis lurus saat shalat. Namun Umar menolak gagasan itu dan membangun masjid di selatan batu. Pernyataan saksi mata yang pertama diketahui berasal dari Arcluf yang mengunjungi Masjid Al Aqsha pada tahun 670. Berdasar pernyataan Arcluf yang dicatat oleh Adomnán, dia melihat bangunan ibadah kayu persegi panjang dibangun di atas reruntuhan dan dapat menampung setidaknya 3.000 jamaah.