Umumnya, nama sebuah tarekat sufi diambil dari nama sang pendiri. Seperti Tarekat Qadiriyah dari Syaikh Abdul Qadir Al-Jilani atau Tarekat Naqsyabandiyah dari Syaikh Muhammad Baha’uddin Naqsyabandi. Namun, Tarekat Khalwatiyah justru diambil dari kata ‘khalwat’ yang artinya menyendiri untuk merenung. Secara nasab, Tarekat Khalwatiyah merupakan cabang dari Tarekat Az-Zahidiyah, cabang dari Al-Abhariyah, dan cabang dari As-Suhrawardiyah yang didirikan oleh Syaikh Syihabuddin Abi Hafs Umar As-Suhrawardi Al-Baghdadi (539-632 H).
Ajaran Tarekat Khalwatiyah pertama kali muncul di wilayah Asia Tengah pada abad ke-15 M, yakni saat Dinasti Utsmaniyah berkuasa. Dalam waktu satu abad, tarekat ini telah menjelma menjadi tarekat sufi yang paling luas dan menyebar di wilayah kesultanan Islam tersebut. Meskipun dalam perkembangannya, mengalami saat-saat kemandekan, kemunduran, dan kebangkitan kembali. Kebangkitan kembali Khalwatiyah diprakarsai oleh Syaikh Musthafa ibn Kamal Al-Din Al-Bakri (1688-1748 M). Al-Bakri merupakan seorang penyair sufi asal Damaskus, Suriah, yang menjalani hampir seluruh kehidupannya di Yerusalem. Ia mengambil tarekat tersebut dari gurunya yang bernama Syaikh Abdul Latif bin Syaikh Husamuddin Al-Halabi.
Syaikh Musthafa Al-Bakri sejak kecil dikenal sebagai seorang zahid yang cerdas. Dalam salah satu bukunya, ia menceritakan bahwa dirinya pernah mengalami kehidupan sebatangkara. Kedua orang tuanya bercerai saat ia berusia dua tahun. Ia kemudian tinggal bersama ayahnya setelah ibunya menikah lagi. Semasa hidupnya, Al-Bakri senang bepergian, terutama ke negeri-negeri di kawasan Timur Tengah. Hal itu ia lakukan untuk menambah wawasan dan pengetahuan. Ia pun belajar pada guru-guru yang berilmu tinggi. Beberapa tempat yang pernah ia kunjungi adalah Palestina, Tripoli, Makkah, Baghdad, Basrah, dan Mesir.
Khalwatiyah mengalami perkembangan pesat di Mesir ketika dipimpin oleh murid Al-Bakri, Syaikh Muhammad ibn Salim Al-Hifni (1689-1768). Pada pertengahan abad ke-18 M, Khalwatiyah menjadi tarekat sufi yang dominan di negeri berjuluk seribu menara itu. Selama lebih dari delapan puluh tahun (1757-1838), kedudukan Syaikh Al-Azhar dipangku oleh penganut Khalwatiyah. Dengan diilhami oleh Al-Bakri, Al-Hifni menjadikan Khalwatiyah di Mesir sebagai tarekat yang berorientasi syari’at. Ia juga berusaha merangkul semua kalangan, tidak hanya para ulama terkemuka, tetapi juga orang kebanyakan.
Pengikut Khalwatiyah dari kalangan ulama tidak hanya berasal dari kota-kota di penjuru Mesir. Para ulama Maghribi yang tengah menunaikan haji ke Makkah pada abad ke-18 M dan singgah di Kairo jumlahnya terus meningkat. Sebagian dari mereka sangat terpengaruh oleh Al-Hifni dan para syaikh Khalwatiyah pengganti Al-Hifni, seperti Syaikh Mahmud Al-Kurdi (1715-1780) dan Syaikh Ahmad Al-Dardir (1715-1786). Berkat peran dari para ulama Maghribi ini, dua tarekat sufi baru berkembang di Maghribi sebagai turunan Khalwatiyah. Syaikh Muhammad ibn Abd Al-Rahman Al-Azhari (1713-1793) menyebarkan Khalwatiyah di Aljazair. Lahirlah cabang baru Khalwatiyah yang bernama Rahmaniyah.
Al-Azhari pula yang mengantarkan Sidi Ahmad At-Tijani, pendiri Tarekat Tijaniyah, bergabung dengan Khalwatiyah. At-Tijani mempelajari rahasia-rahasia Syaikh Mahmud Al-Kurdi di Kairo dan Syaikh Muhammad ibn Abd Al-Karim Al-Samman di Madinah. Al-Samman mempunyai murid dari Indonesia bernama Syaikh Abdul Al-Shamad Al-Palimbani (1703-1788), yang kemudian mengajarkan Tarekat Sammaniyah di Tanah Air (Sumatra). Seorang muridnya lagi berasal dari Sudan yang bernama Syaikh Ahmad Al-Tayyib ibn Al-Basyir (wafat 1823 M), lalu ia menyebarkan tarekat ini di sana.
Pada abad ke-19 M, tiga cabang Khalwatiyah tersebut membangkitkan gerakan melawan penjajah di pelbagai wilayah di Afrika. Rahmaniyah memimpin pemberontakan melawan Prancis di Aljazair pada 1871. Sementara itu, Al-Hajj Umar Al-Futi memprakarsai jihad Tijaniyah di Afrika Barat. Di Mesir, kegiatan-kegiatan Khalwatiyah bersama dengan perhimpunan sufi lainnya diatur dan diawasi secara ketat oleh pemerintah berdasarkan dekrit Muhammad Ali pada 1812. Hampir satu setengah abad kemudian, pemerintah otoriter lainnya, yaitu pemerintah Gamal Abdul Nasser, berupaya membatasi gerakan dan sumber daya ekonomi tarekat-tarekat sufi. Dalam daftar tentang tarekat-tarekat sufi yang berkembang di Mesir, yang disusun pada tahun 1964, tercatat ada 10 cabang Khalwatiyah meskipun sebagian besar tidak aktif.
Sementara itu, di Turki tarekat-tarekat sufi dinyatakan terlarang pada 1925 sebagai bagian dari program pembaruan penguasa Turki saat itu, Mustafa Kemal Attaturk. Akan tetapi, tarekat-tarekat sufi tetap bergerak di bawah tanah dan mulai muncul kembali dalam kehidupan publik pada akhir 1950-an. Khalwatiyah merupakan bagian dari proses kebangkitan Islam abad ke-20 itu. Di wilayah Balkan, sejumlah pusat tarekat Khalwatiyah terus berkembang, khususnya di Albania. Di sini, Khalwatiyah mampu bertahan hidup di bawah rezim komunis.
