Ayahnya bernama Syekh Muhammad al-Yafie dan ibunya bernama Imacayya, putri raja dari salah satu kerajaan di Tanete di pesisir barat Sulawesi Selatan. Seturut penuturan Helmi Aly, putra Ali Yafie, Imacayya meninggal saat Ali Yafie berumur 10 tahun. Ayahnya menikah lagi dengan Tanawali. Pasangan ini diberi empat keturunan: Muhsanah, Husain, Khadijah, dan yang masih hidup bungsunya, Idris. Muhammad Al-Yafie meninggal pada awal 1950-an.
Sejak usia 19 tahun, Prof. Dr. KH. Ali Yafie melepas masa lajangnya dengan menikahi Hj. Aisyah, masih berusia 16 tahun. Kendati menikah muda, mereka mengarungi bahtera rumah tangga dengan bahagia. Buah dari pernikahannya, beliau dikaruniai empat anak yang kelak akan menjadi penerusnya.
Mengembara Menuntut Ilmu
Prof. Dr. KH. Ali Yafie berasal dari keluarga yang taat menjalankan ajaran agama Islam. Sejak kecil beliau sudah berkecimpung di dunia pesantren. Ayahnya KH. Mohammad Yafie, seorang pendidik, sudah mendidiknya soal keagamaan dengan memasukkannya ke pesantren.
Sang ayah mendorongnya menuntut berbagai ilmu pengetahauan, terutama ilmu pengetahuan agama sebanyak-banyaknya dari para ulama, termasuk ulama besar Syekh Muhammad Firdaus, yang berasal dari Hijaz, Makkah, Saudi Arabia.
Didikan orang tuanya untuk menimba ilmu sebanyak-banyaknya tertanam terus sejak kecil hingga kemudian diteruskan dalam mendidik putra-putranya dan santri-santrinya di Pondok Pesantren Darul Dakwah Al-Irsyad.
Beliau memperoleh pendidikan pertamanya pada sekolah dasar umum, yang dilanjutkan dengan pendidikan di Madrasah Asadiyah yang terkenal di Sengkang, Sulawesi Selatan. (RUL)