Al-Jami' al-Aqsha
Selama berabad-abad, yang dimaksud dengan Masjid Al-Aqsha adalah keseluruhan kompleks tersebut, yang dianggap sebagai suatu wilayah yang suci. Perubahan penyebutan kemudian terjadi pada masa pemerintahan Kesultanan Utsmaniyah, di mana wilayah kompleks secara keseluruhan disebut sebagai "Al-Haram asy-Syarif"; sedangkan bangunan yang terletak di bagian selatan disebut sebagai Al-Jami' al-Aqsha, yaitu tempat Umar bin Khaththab pertama kali mendirikan masjid di antara reruntuhan. Hadits Imam Ahmad menyebutkan percakapan Umar bin Khattab dan Ka'ab al-Ahbar, di mana Ka'ab menyarankan untuk membangun masjid di belakang batu Ash-Shakhrah, sedangkan Umar menolak dan memilih tempat di sebelah selatan untuk membangun masjid dengan kiblat yang mengarah ke Ka'bah saja, sehingga posisi batu tersebut berada di belakangnya.
Al-Jami' al-Aqsha yang didirikan Umar bin Khattab tersebut, juga berbeda dengan Masjid Umar, yaitu sebuah masjid yang dibangun pada masa kekuasaan Dinasti Ayyubiyah pada abad ke-12, untuk mengenang pengambil-alihan Yerusalem oleh Umar bin Khattab yang mewakili umat Islam. Tradisi setempat menceritakan bahwa pada saat pengambil-alihan tersebut, Umar diundang oleh Patriark Sophonius untuk beribadah di dalam Gereja Makam Kudus, namun Umar memilih mengerjakan salat di luar, di dekat pintu masuk gereja. Masjid Umar terletak bersebrangan dengan Gereja Makam Kudus, di luar kompleks Masjid Al-Aqsha.
Masjid Al-Aqsha
Secara harfiah, Masjid Al Aqsha berarti “masjid terjauh.” Nama ini berasal dari keterangan dalam Al Qur'an pada Surah Al-Isra' ayat 1 mengenai "Isra Mi'raj".
Istilah masjid secara harfiah bermakna "tempat sujud" dan secara "syara" dapat berarti semua tempat di bumi yang digunakan untuk beribadah kepada Allah sebagaimana sabda Nabi Muhammad, "... dan bumi ini dijadikan bagiku sebagai tempat shalat serta sarana bersuci ("tayammum"). Maka siapa saja dari umatku yang datang waktu shalat (di suatu tempat), maka hendaklah ia shalat (di sana)." Dengan pengertian ini, tempat-tempat ibadah monoteistik lainnya seperti Bait Salomo atau Kuil Sulaiman juga disebut dengan istilah "masjid". Para sejarawan Barat Heribert Busse dan Neal Robinson berpendapat bahwa itulah penafsiran yang diinginkan. Dengan pengertian ini pula, masjid tidak hanya terbatas pada sebuah bangunan saja. Misalnya saja, wilayah di sekitar Ka'bah sudah dikenal lama dengan istilah "Masjid Al Haram" dan tempat itu hanyalah sebuah lapangan terbuka sejak masa Ka'bah dibangun dan keadaannya tetap demikian hingga masa kenabian. Tidak ada pula dinding yang mengelilinginya, hanya bangunan rumah-rumah penduduk Mekkah yang mengelilingi halaman itu, seakan-akan itu adalah dindingnya. Masjid Al Haram mulai berbentuk bangunan pada masa Khalifah Umar bin Khaththab.