Daerah Lipis tidak pernah ketandusan para alim ulama. Antara tokoh ulama yang terkenal berasal dari daerah ini seperti Dato' Kamarudin Zakaria (mantan imam besar masjid negara), Dato' Muhammad Sidek bin Ariffin (mantan mufti negeri Pahang) dan Tuan guru hj Ahmad.
Allahyarham Tuan guru Hj Ahmad bin Amin al-Hafiz dilahirkan pada tahun 1934 di Kerambit Lipis. Mempelajari ilmu agama di beberapa buah pondok seperti di Pondok Guai Temerloh dan Pondok Bunut Payung Kelantan. Beliau tamat menghafaz al-Quran ketika berusia 18 tahun. Beliau merupakan penerima anugerah Maal Hijrah peringkat negeri Pahang pada tahun 2008.
Beliau telah mengasaskan dan membuka pusat pengajian di rumahnya yang dikenali dengan nama Madrasah Al-Ittihadiah di kampung Relai Kerambit, kira-kira 30km dari bandar Lipis. Madrasah Al-Ittihadiah yang diasaskan pada tahun 1967 merupakan pusat pengajian tahfiz yang tertua sekali di negeri Pahang.
Dari tahun 1967-1991 pondok-pondok didirikan di sekitar rumah Tuan Guru Hj Ahmad dan pelajarnya terdiri dari seluruh pelusuk tanah air. Selepas itu Madrasah Ittihadiah berubah wajah menjadi sekolah agama rakyat. Pada tahun 1996, sekolah ini memperkenalkan peperiksaan Sijil Menengah Agama (SMA) yang dikendalikan oleh Jabatan Agama Islam Pahang. Pada tahun 1999 Peperiksaan Menengah Rendah (PMR) mula diperkenalkan. Seterusnya pada tahun 2010 sekolah mula menawarkan peperiksaan Sijil Pelajaran Malaysia (SPM).
Tanggal 19 Januari 2006, telah termeterai perjanjian persefahaman (MOU) diantara sekolah ini dengan Kementerian Pelajaran Malaysia untuk dinaik taraf menjadi Sekolah Agama Bantuan Kerajaan (SABK) dan seterusnya dinamakan Sekolah Menengah Agama Al-Ittihadiah.
Sekolah ini telah mengukir nama dalam bidang tahfiz al-Quran di peringkat negeri dan kebangsaan. Antara pelajarnya yang telah berjaya mewakili negeri Pahang dalam majlis menghafaz al-Quran peringkat kebangsaan :
1.Suaidah binti Hj Ahmad -1989
2.Sapura binti Ahmad -1996
3.Sofiah binti Abdul Malik 2002/2005
Pada tahun 1996, seorang pelajar berjaya mewakili negara ke pertandingan menghafaz al-Quran yang diadakan di Iran, iaitu Rokiah binti Hj Ahmad.
Mushaf al-Quran yang digunakan oleh Tuan Guru Hj Ahmad sehingga beliau tamat menghafaz al-Quran.
Semoga Allah merahmati perjuangan yang dilakukan oleh Tuan guru Hj Ahmad..