Bangsa Arab sebelum kedatangan Islam adalah pemuja berhala.[21] Ka’bah masih menjadi pusat pemujaan mereka, dan dipenuhi dengan berhala dan gambar Malaikat. Selama musim ziarah tahunan, orang-orang dari dalam dan luar negeri akan mengunjungi Ka’bah.[22]
Pola Haji saat ini didirikan oleh nabi Islam Muhammad yang melakukan reformasi terhadap ziarah pra-Islam orang-orang Arab pagan pada tahun 632 M,[23] namun asal mula Haji adalah atas perintah Tuhan kepada Ibrahim untuk meninggalkan istrinya Hagar (Hajar) dan anaknya Ismael (Isma’il) sendirian di padang pasir kuno Mekkah dengan sedikit makanan dan air yang segera berakhir. Mekkah kemudian menjadi tempat yang tidak berpenghuni. Untuk mencari air, Hagar dengan putus asa berlari tujuh kali di antara dua bukit Shofa dan Marwah tapi tidak menemukan satu pun.[24] Kembali dalam keputusasaan ke di Ismael, dia melihat bayi itu menggaruk tanah dengan kakinya dan keluar air mancur di bawahnya.[25] Karena adanya air, suku-suku mulai menetap di Mekkah, Jurhum menjadi suku pertama yang datang. Ketika dewasa, Ismail menikah di suku dan mulai tinggal bersama mereka. Quran menyatakan bahwa Ibrahim, bersama dengan anaknya Ismail, membangun fondasi sebuah rumah yang diidentifikasi oleh kebanyakan komentator sebagai Ka’bah. Setelah menempatkan Batu Hitam di sudut timur Ka’bah, Ibrahim menerima sebuah wahyu di mana Allah mengatakan ke di nabi berusia lanjut bahwa dia sekarang harus pergi dan mengumumkan ziarah ke umat manusia. Quran mengacu di kejadian ini dalam Al-Baqarah:124-127 dan Al-Hajj:27-30.[n 1] Sesaat sebelum wafatnya, Muhammad melakukan ziarah satu-satunya dan terakhir dengan sejumlah besar pengikut, Dan mengajarkan mereka ritus haji dan tata krama untuk melakukan hal itu. Di dataran Arafah, dia menyampaikan pidato terkenal – yang dikenal dengan Khotbah perpisahan Nabi Muhammad – ke mereka yang hadir di sana.[26][27] Sejak saat itu, haji menjadi salah satu dari Lima Rukun Islam.[28]
Selama abad pertengahan, peziarah akan berkumpul di kota-kota besar seperti Basra, Damaskus, dan Kairo untuk pergi ke Mekkah dalam kelompok dan karavan yang terdiri dari puluhan ribu peziarah.[29][30]
Dalam sejarah haji yang cukup panjang, suku-suku nomaden padang pasir – yang dikenal sebagai Badui – telah menjadi isu keamanan yang agak ketat untuk kafilah haji.[n 2][29][30]dan untuk memastikan bahwa para peziarah diberikan perbekalan yang diperlukan.[29] Sekali lagi, sepanjang sejarah, perjalanan ziarah ke Mekkah telah menawari para peziarah dan juga para pedagang profesional kesempatan untuk melakukan berbagai aktivitas perdagangan baik dalam perjalanan maupun di Mekkah, Damaskus, dan Kairo.[31]
