Parameters adalah variabel internal dalam model AI yang nilainya dipelajari dari data pelatihan dan menentukan bagaimana model memproses input untuk menghasilkan output. Dalam jaringan saraf, parameter biasanya berupa bobot (weights) dan bias yang menghubungkan neuron satu sama lain.
Jumlah parameter dalam model adalah indikator utama dari kapasitas atau kecanggihan model. Model dengan lebih banyak parameter dapat mempelajari pola yang lebih kompleks dan halus, tetapi juga membutuhkan lebih banyak data dan daya komputasi untuk dilatih. Large Language Model modern seperti GPT-4 diperkirakan memiliki triliunan parameter, sementara model yang lebih kecil mungkin hanya memiliki beberapa juta.
Parameter diperbarui selama proses pelatihan melalui algoritma seperti backpropagation dan gradient descent. Model membuat prediksi, menghitung kesalahan (loss), dan menyesuaikan parameter untuk mengurangi kesalahan tersebut. Proses ini diulang ribuan atau jutaan kali hingga parameter mencapai nilai yang optimal.
Memahami parameter penting untuk efisiensi. Model dengan terlalu banyak parameter dapat overfit—menghafal data pelatihan, bukan belajar generalisasi. Sebaliknya, model dengan terlalu sedikit parameter mungkin underfit—tidak cukup kompleks untuk menangkap pola dalam data. Memilih jumlah parameter yang tepat adalah bagian penting dari desain model.
Parameter juga terkait dengan biaya. Model dengan lebih banyak parameter membutuhkan lebih banyak memori untuk disimpan dan lebih banyak komputasi untuk dijalankan, yang berarti biaya API yang lebih tinggi dan waktu respons yang lebih lama. Inilah sebabnya optimasi parameter—mencapai performa terbaik dengan parameter sesedikit mungkin—adalah area penelitian yang aktif.