Model Distillation, atau distilasi model, adalah teknik dalam machine learning di mana sebuah model yang lebih kecil, disebut "student" (murid), dilatih untuk meniru perilaku dan output dari model yang lebih besar dan lebih mumpuni, disebut "teacher" (guru). Tujuannya adalah menghasilkan model yang jauh lebih ringkas namun tetap mempertahankan sebagian besar kemampuan model aslinya.
Berbeda dengan pelatihan model konvensional yang hanya belajar dari label data yang benar atau salah secara mutlak, distillation melatih model student untuk meniru distribusi probabilitas lengkap dari output model teacher—termasuk tingkat "keyakinan" model teacher terhadap berbagai kemungkinan jawaban. Pendekatan ini memberikan sinyal pembelajaran yang jauh lebih kaya dibanding sekadar label benar-salah, memungkinkan model student mempelajari nuansa penalaran model teacher dengan lebih efektif.
Analogi yang sering digunakan adalah seorang guru berpengalaman yang tidak hanya memberi tahu murid jawaban akhir suatu soal, tetapi juga menjelaskan tingkat keyakinannya terhadap berbagai kemungkinan jawaban lain yang mendekati benar—memberi murid pemahaman yang lebih dalam dibanding sekadar menghafal satu jawaban tunggal.
Model distillation banyak digunakan oleh perusahaan AI untuk menghasilkan versi model yang lebih kecil, lebih cepat, dan lebih murah dari model flagship mereka yang besar—memungkinkan model tersebut digunakan pada aplikasi dengan kebutuhan latensi rendah atau biaya operasional terbatas, tanpa harus membangun model kecil dari nol yang biasanya menghasilkan performa jauh lebih rendah.
Teknik ini menjadi semakin penting seiring tren industri menuju Small Language Model yang efisien namun tetap mumpuni, karena distillation memungkinkan model kecil "mewarisi" sebagian kemampuan penalaran dan pengetahuan dari model raksasa yang biayanya jauh lebih mahal untuk dilatih maupun dijalankan.