Al-Jami' al-Aqsha
Selama berabad-abad, yang dimaksud dengan Masjid Al-Aqsha adalah keseluruhan kompleks tersebut, yang dianggap sebagai suatu wilayah yang suci. Perubahan penyebutan kemudian terjadi pada masa pemerintahan Kesultanan Utsmaniyah, di mana wilayah kompleks secara keseluruhan disebut sebagai "Al-Haram asy-Syarif"; sedangkan bangunan yang terletak di bagian selatan disebut sebagai Al-Jami' al-Aqsha, yaitu tempat Umar bin Khaththab pertama kali mendirikan masjid di antara reruntuhan. Hadits Imam Ahmad menyebutkan percakapan Umar bin Khattab dan Ka'ab al-Ahbar, di mana Ka'ab menyarankan untuk membangun masjid di belakang batu Ash-Shakhrah, sedangkan Umar menolak dan memilih tempat di sebelah selatan untuk membangun masjid dengan kiblat yang mengarah ke Ka'bah saja, sehingga posisi batu tersebut berada di belakangnya.
Al-Jami' al-Aqsha yang didirikan Umar bin Khattab tersebut, juga berbeda dengan Masjid Umar, yaitu sebuah masjid yang dibangun pada masa kekuasaan Dinasti Ayyubiyah pada abad ke-12, untuk mengenang pengambil-alihan Yerusalem oleh Umar bin Khattab yang mewakili umat Islam. Tradisi setempat menceritakan bahwa pada saat pengambil-alihan tersebut, Umar diundang oleh Patriark Sophonius untuk beribadah di dalam Gereja Makam Kudus, namun Umar memilih mengerjakan salat di luar, di dekat pintu masuk gereja. Masjid Umar terletak bersebrangan dengan Gereja Makam Kudus, di luar kompleks Masjid Al-Aqsha.
Masjid Al-Aqsha
Berdasarkan riwayat-riwayat yang umum dikenal dalam tradisi Islam, Umar memasuki Yerusalem setelah penaklukannya pada tahun 638. Ia diceritakan bercakap-cakap dengan Ka'ab Al-Ahbar, seorang Yahudi yang telah masuk Islam dan ikut datang bersamanya dari Madinah, mengenai tempat terbaik untuk membangun sebuah masjid. Al Ahbar menyarankan agar masjid dibangun di belakang batu Ash-Shakhrah "... maka seluruh Al-Quds (berada) di depan Anda". Umar menjawab, "Ka'ab, Anda sudah meniru ajaran Yahudi". Namun, segera setelah percakapan ini Umar dengan jubahnya mulai membersihkan tempat yang telah dipenuhi dengan sampah dan puing-puing tersebut. Demikian pula kaum Muslim pengikutnya turut serta membersihkan tempat itu. Umar kemudian mendirikan shalat di tempat yang diyakini sebagai tempat "salat" Muhammad pada saat "Isra Mi'raj", dan Umar di tempat itu membacakan ayat-ayat Al-Qur'an dari Surah Sad. Oleh karenanya, berdasarkan riwayat tersebut maka Umar dianggap telah menyucikan kembali situs tersebut sebagai masjid.