Explainable AI (XAI) adalah bidang riset dan praktik dalam kecerdasan buatan yang berfokus pada pengembangan metode dan teknik untuk membuat proses pengambilan keputusan model AI dapat dipahami dan dijelaskan secara jelas oleh manusia, mengatasi sifat "kotak hitam" (black box) yang sering melekat pada model machine learning kompleks, terutama deep learning.
Banyak model AI modern, khususnya deep neural network dengan jutaan hingga miliaran parameter, menghasilkan keputusan melalui proses komputasi yang sangat rumit dan sulit ditelusuri secara intuitif oleh manusia—bahkan oleh para pengembangnya sendiri. Model semacam ini dapat memberikan prediksi atau keputusan yang akurat, namun sulit menjelaskan secara pasti mengapa model sampai pada kesimpulan tertentu.
Kurangnya penjelasan ini menjadi masalah serius pada domain-domain berisiko tinggi. Misalnya, jika sebuah model AI menolak pengajuan kredit seseorang, menolak klaim asuransi, atau merekomendasikan diagnosis medis tertentu, pihak yang terdampak—dan sering kali juga regulator—berhak mengetahui alasan di balik keputusan tersebut, baik untuk keperluan akuntabilitas, kepatuhan hukum, maupun untuk mengidentifikasi potensi bias yang tidak adil dalam sistem.
Berbagai teknik XAI telah dikembangkan untuk mengatasi tantangan ini, seperti metode yang mengidentifikasi fitur input mana yang paling berpengaruh terhadap suatu keputusan (feature importance), visualisasi yang menunjukkan bagian mana dari gambar yang paling memengaruhi klasifikasi model, atau pendekatan yang membangun model "penjelas" terpisah yang lebih sederhana untuk mendekati perilaku model kompleks pada kasus-kasus tertentu.
Kebutuhan akan explainable AI semakin mendesak seiring meluasnya regulasi yang mewajibkan transparansi algoritmik, seperti ketentuan dalam EU AI Act yang mewajibkan tingkat transparansi tertentu untuk sistem AI berisiko tinggi. Bagi bisnis, XAI juga penting untuk membangun kepercayaan pengguna dan memungkinkan tim internal melakukan debugging serta perbaikan model secara lebih efektif ketika terjadi kesalahan atau bias yang tidak diinginkan.