Madrasah Tuan Guru Haji Abdul Rahman Haji Ali ini telah didirikan pada tahun 2003 oleh Almarhum Tuan Guru Haji Abdul Rahman untuk pengajian Islam penduduk setempat. Almarhum Tuan Guru Haji Abdul Rahman telah meninggal dunia pada tahun 2006. Almarhum Tuan Guru Haji Abdul Rahman telah dilahirkan pada tahun 1917 serta memulakan pengajian di Pondok Rasah dan kemudian menyambung pengajian di Mekah pada tahun 1938 hingga tahun 1942. Almarhum Tuan Guru Haji Abdul Rahman berkhidmat sebagai Imam di Masjid Jamek Tampin serta Guru Takmir sekitar tahun 1980an dan 1990an.
Madrasah Tuan Guru Haji Abdul Rahman ini terletak di Kg Selemak, Jalan Kg Batu – Inas, Rembau, Negeri Sembilan. Ianya terletak di kawasan kaki bukit, di kelilingi suasana kampung yang aman, tenang dan nyaman. Madrasah ini terletak di tepi jalan utama Rembau menuju ke Johol.