Instruction Tuning adalah tahap fine-tuning yang melatih model dasar (base model) hasil pre-training menggunakan dataset berisi pasangan instruksi dan jawaban yang sesuai, dengan tujuan membuat model lebih terampil dalam memahami dan mengikuti perintah yang diberikan dalam bahasa alami.
Model hasil pre-training murni, meski memiliki pengetahuan luas tentang bahasa dan dunia, sering kali tidak secara natural pandai mengikuti instruksi. Jika diberi perintah seperti "Ringkas paragraf berikut dalam tiga kalimat", model dasar mungkin justru melanjutkan teks tersebut dengan gaya serupa alih-alih benar-benar melakukan tugas peringkasan yang diminta—karena selama pre-training, model hanya dilatih untuk memprediksi kelanjutan teks, bukan untuk mematuhi perintah eksplisit.
Instruction tuning mengatasi kesenjangan ini dengan melatih model menggunakan ribuan hingga jutaan contoh pasangan instruksi-jawaban yang beragam, mencakup berbagai jenis tugas seperti menjawab pertanyaan, meringkas teks, menerjemahkan bahasa, menulis kode, dan banyak lagi. Melalui proses ini, model belajar pola umum "ketika diberi instruksi seperti ini, jawaban yang sesuai seperti itu", yang kemudian dapat digeneralisasikan ke instruksi-instruksi baru yang belum pernah dilihat sebelumnya selama pelatihan.
Instruction tuning biasanya menjadi tahap perantara antara pre-training dan RLHF dalam alur pengembangan asisten AI modern. Setelah instruction tuning, model menjadi jauh lebih responsif terhadap perintah pengguna, meski penyempurnaan lebih lanjut lewat RLHF masih diperlukan untuk memastikan jawaban model benar-benar selaras dengan preferensi kualitas dan keamanan yang diharapkan manusia.
Ketersediaan dataset instruksi berkualitas tinggi dan beragam menjadi salah satu faktor kunci yang membedakan kualitas asisten AI dari berbagai laboratorium, mendorong banyak perusahaan berinvestasi besar dalam menyusun dan mengkurasi data instruksi secara cermat.