Masjid Al-Aqsha
Pada tahun 637, umat Islam mengambil alih kepemimpinan atas Yerusalem dari tangan Romawi Timur pada masa kepemimpinan Khalifah Umar bin Khaththab. Kompleks reruntuhan Bait Suci, dikenal sebagai Masjid Al Aqsha atau Baitul Maqdis oleh umat Islam, ditemukan Umar dalam keadaan tidak terawat. Meski begitu, Umar kemudian menemukan Batu Fondasi atas bantuan Ka’b Al Ahbar, seorang Yahudi yang telah masuk Islam. Batu ini diyakini sebagai titik pijakan Nabi Muhammad naik ke langit dalam kepercayaan umat Islam dan tempat Nabi Ibrahim (Abraham) hendak menyembelih anaknya, Ishaq, dalam kepercayaan umat Yahudi. Al Ahbar mengusulkan untuk membangun masjid di sebelah utara batu tersebut agar umat Islam dapat menghadap ke arah Ka’bah dan batu tersebut dalam satu garis lurus saat shalat. Namun Umar menolak gagasan itu dan membangun masjid di selatan batu. Pernyataan saksi mata yang pertama diketahui berasal dari Arcluf yang mengunjungi Masjid Al Aqsha pada tahun 670. Berdasar pernyataan Arcluf yang dicatat oleh Adomnán, dia melihat bangunan ibadah kayu persegi panjang dibangun di atas reruntuhan dan dapat menampung setidaknya 3.000 jamaah.
Yerusalem
Yerusalem Bizantin ditaklukkan oleh pasukan Arab pimpinan Umar bin Khattab pada tahun 638 M. Di kalangan Muslim dari era Islam awal disebut sebagai "Madinat bayt al-Maqdis" ("Kota Bait Allah") yang mana hanya sebatas pada wilayah Bukit Bait Suci (Kompleks al-Haram). Wilayah selebihnya dari kota ini "... disebut Iliya, mencerminkan nama Romawi yang diberikan untuk kota ini setelah penghancurannya pada tahun 70 M: "Aelia Capitolina"". Belakangan Bukit Bait Suci dikenal dengan nama "al-Haram al-Sharif", “Tempat Suci yang Mulia", sedangkan wilayah kota di sekitarnya kemudian dikenal sebagai "Bayt al-Maqdis", dan selanjutnya masih disebut sebagai "al-Quds al-Sharif" "Kota Suci yang Mulia". Proses Islamisasi Yerusalem dimulai pada tahun pertama Hijriyah (623 M), ketika kaum Muslim diinstruksikan untuk menghadap (kiblat) ke arah kota ini ketika melakukan sembahyang sehari-hari dan menurut tradisi keagamaan Muslim merupakan tempat terjadinya perjalanan malam Nabi Muhammad dan kenaikannya ke surga. Setelah 13 tahun, arah kiblat diganti ke Mekkah. Pada tahun 638 M Kekhalifahan Islam memperluas kekuasaannya ke Yerusalem. Dengan adanya penaklukan oleh kaum Arab, kaum Yahudi diizinkan kembali ke kota ini. Khalifah Rasyidin Umar bin Khattab menandatangani suatu perjanjian dengan Patriark Kristen Yerusalem Sofronius, yang mana sang khalifah memberikan jaminan kepadanya bahwa penduduk dan tempat-tempat suci kaum Kristen di Yerusalem akan dilindungi di bawah pemerintahan kaum Muslim. Tradisi Arab-Kristen mencatat bahwa ketika Khalifah Umar akan memimpin sembahyang di Gereja Makam Kudus, yakni salah satu tempat tersuci bagi kaum Kristen, ia menolak untuk bersembahyang di dalam gereja tesebut sehingga kaum Muslim tidak akan meminta konversi Gereja Makam Kudus menjadi sebuah masjid. Ia bersembahyang di luar gereja tersebut, tempat di mana Masjid Umar (Omar) berdiri hingga saat ini, berlawanan arah dengan pintu masuk Gereja Makam Kudus. Menurut Arculf, seorang uskup dari Galia yang tinggal di Yerusalem antara tahun 679-688, Masjid Umar merupakan sebuah bangunan berstruktur kayu dengan bentuk persegi panjang yang dibangun di atas reruntuhan dan dapat menampung 3.000 jemaah.