Al-Jami' al-Aqsha
Selama berabad-abad, yang dimaksud dengan Masjid Al-Aqsha adalah keseluruhan kompleks tersebut, yang dianggap sebagai suatu wilayah yang suci. Perubahan penyebutan kemudian terjadi pada masa pemerintahan Kesultanan Utsmaniyah, di mana wilayah kompleks secara keseluruhan disebut sebagai "Al-Haram asy-Syarif"; sedangkan bangunan yang terletak di bagian selatan disebut sebagai Al-Jami' al-Aqsha, yaitu tempat Umar bin Khaththab pertama kali mendirikan masjid di antara reruntuhan. Hadits Imam Ahmad menyebutkan percakapan Umar bin Khattab dan Ka'ab al-Ahbar, di mana Ka'ab menyarankan untuk membangun masjid di belakang batu Ash-Shakhrah, sedangkan Umar menolak dan memilih tempat di sebelah selatan untuk membangun masjid dengan kiblat yang mengarah ke Ka'bah saja, sehingga posisi batu tersebut berada di belakangnya.
Al-Jami' al-Aqsha yang didirikan Umar bin Khattab tersebut, juga berbeda dengan Masjid Umar, yaitu sebuah masjid yang dibangun pada masa kekuasaan Dinasti Ayyubiyah pada abad ke-12, untuk mengenang pengambil-alihan Yerusalem oleh Umar bin Khattab yang mewakili umat Islam. Tradisi setempat menceritakan bahwa pada saat pengambil-alihan tersebut, Umar diundang oleh Patriark Sophonius untuk beribadah di dalam Gereja Makam Kudus, namun Umar memilih mengerjakan salat di luar, di dekat pintu masuk gereja. Masjid Umar terletak bersebrangan dengan Gereja Makam Kudus, di luar kompleks Masjid Al-Aqsha.
Masjid Al-Aqsha
Pada tahun 130 M, Kaisar Hadrianus menjanjikan untuk membangun ulang Yerusalem, tetapi umat Yahudi merasa dikhianati karena sang kaisar hendak membangun kota berdasarkan kepercayaan pagannya, juga hendak membangun kuil yang dipersembahkan bagi pemujaan Dewa Yupiter di bekas reruntuhan Bait Suci kedua. Ketegangan antara pemerintah Romawi dan umat Yahudi semakin memanas saat sang kaisar juga melarang perintah sunat yang dipandang sebagai sebentuk mutilasi bagi kaisar yang menganut seorang penganut Helenis taat. Hal ini berujung pada pemberontakan yang dipimpin Simon Bar Kokhba. Namun pemberontakan itu berhasil dihancurkan pihak Romawi pada tahun 135 M. Akibatnya, umat Yahudi diusir dari Palestina, dilarangnya penggunaan hukum Taurat dan penanggalan Yahudi, dan menghukum mati ahli Yahudi. Kaisar Hadrianus membangun ulang kota Yerusalem sebagai sebuah kota Romawi bernama Aelia Capitolina dan umat Yahudi dilarang memasukinya.
Di sisi lain, agama Kristen mulai bangkit dan menyebar di tubuh Kekaisaran Romawi hingga pada akhirnya menjadi agama resmi negara. Kaisar Konstantinus I melakukan kristenisasi masyarakat Romawi dan mengunggulkannya atas pemujaan paganisme. Kuil Yupiter yang dibangun Kaisar Hadrianus di reruntuhan Bait Suci kedua dihancurkan segera setelah Konsili Nicea I atas perintah Konstantinus I.