Hallucination dalam konteks AI adalah fenomena di mana model AI menghasilkan output yang terdengar meyakinkan dan masuk akal, tetapi sebenarnya tidak akurat, tidak berdasar fakta, atau bahkan sama sekali salah. Istilah ini dipinjam dari psikologi, di mana halusinasi merujuk pada persepsi terhadap sesuatu yang tidak ada dalam realitas eksternal.
Halusinasi terjadi karena model AI — terutama Large Language Models — pada dasarnya adalah mesin prediksi statistik. Mereka memprediksi kata atau token berikutnya berdasarkan pola yang dipelajari dari data pelatihan, bukan berdasarkan pemahaman mendalam tentang kebenaran faktual. Ketika model tidak memiliki informasi yang cukup tentang suatu topik, ia tetap akan mencoba menghasilkan jawaban dengan "menebak" berdasarkan pola yang paling mungkin secara statistik — yang terkadang menghasilkan informasi yang salah.
Yang membuat halusinasi berbahaya adalah kemasan output yang meyakinkan. Model AI dirancang untuk menghasilkan teks yang mengalir secara alami dan terdengar percaya diri, sehingga pengguna yang tidak kritis dapat dengan mudah terkecoh dan menganggap informasi tersebut benar. Cambridge Dictionary bahkan memilih "hallucinate" sebagai kata tahun ini untuk menyoroti fenomena ini dan mengingatkan bahwa manusia masih perlu berpikir kritis saat menggunakan alat AI.
Contoh halusinasi sangat beragam. Model AI dapat menciptakan fakta yang tidak pernah terjadi, mengutip sumber yang tidak ada, memberikan referensi ke buku atau artikel yang fiktif, atau menjawab pertanyaan dengan keyakinan tinggi meskipun jawabannya salah total. Dalam kasus ekstrem, AI vision dapat "melihat" objek yang tidak ada dalam gambar.
Untuk mengatasi halusinasi, berbagai pendekatan telah dikembangkan. Retrieval-Augmented Generation (RAG) memungkinkan model mengakses sumber eksternal untuk memverifikasi fakta. Fine-tuning dengan data berkualitas tinggi dapat mengurangi kecenderungan halusinasi. Prompt engineering yang baik dapat mengarahkan model untuk mengakui ketidakpastian. Yang terpenting, pengguna harus selalu memverifikasi informasi penting dari AI melalui sumber-sumber terpercaya dan tidak pernah menganggap output AI sebagai kebenaran mutlak.