Top-p sampling, juga dikenal sebagai nucleus sampling, adalah teknik decoding yang digunakan dalam model AI generatif untuk memilih token berikutnya berdasarkan probabilitas kumulatif. Alih-alih memilih dari semua token yang mungkin, model membatasi pilihan pada subset token terkecil yang probabilitas kumulatifnya melebihi ambang batas p.
Cara kerja top-p: model menghitung probabilitas untuk setiap token yang mungkin, mengurutkannya dari yang tertinggi ke terendah, dan kemudian memilih token-token dari yang tertinggi hingga total probabilitasnya mencapai nilai p (misalnya 0.9). Dari subset ini, model kemudian memilih token secara acak (dengan atau tanpa temperature). Ini memastikan bahwa token yang sangat tidak mungkin tidak akan pernah dipilih.
Top-p sering digunakan bersama dengan temperature. Temperature mengontrol bentuk distribusi probabilitas, sementara top-p mengontrol seberapa banyak "kandidat" yang dipertimbangkan. Kombinasi keduanya memberikan kontrol yang halus atas kreativitas dan kualitas output.
Keunggulan top-p dibandingkan metode lain (seperti top-k, yang memilih k token teratas terlepas dari probabilitasnya) adalah adaptif—jumlah token yang dipertimbangkan bervariasi tergantung pada distribusi probabilitas. Jika satu token sangat dominan (probabilitas tinggi), top-p mungkin hanya mempertimbangkan satu token; jika distribusi datar, top-p akan mempertimbangkan lebih banyak token.
Top-p sangat berguna untuk menghasilkan teks yang bervariasi namun tetap koheren. Dengan top-p yang tepat, model dapat menghasilkan output yang kreatif tanpa menghasilkan omong kosong. Nilai p yang umum digunakan berkisar antara 0.8 hingga 0.95, tergantung pada aplikasi.