Embedding adalah representasi numerik dari data—seperti kata, gambar, atau entitas lainnya—dalam bentuk vektor berdimensi tinggi di ruang vektor kontinu. Tujuannya adalah mengubah data kategorikal atau diskrit menjadi format yang dapat diproses oleh jaringan saraf.
Untuk kata-kata, word embedding memetakan setiap kata ke vektor angka, di mana kata-kata dengan makna serupa memiliki vektor yang berdekatan dalam ruang vektor. Misalnya, vektor untuk "raja" dan "ratu" akan berdekatan, begitu pula "apel" dan "jeruk". Bahkan, hubungan semantik dapat direpresentasikan secara matematis: vektor("raja") - vektor("pria") + vektor("wanita") ≈ vektor("ratu").
Embedding dipelajari secara otomatis selama proses pelatihan model. Model seperti Word2Vec, GloVe, dan FastText adalah contoh awal dari teknik embedding. Dalam model modern seperti GPT, embedding adalah lapisan pertama yang mengubah token input menjadi vektor yang kemudian diproses oleh lapisan-lapisan berikutnya.
Embedding tidak terbatas pada teks. Dalam visi komputer, gambar dapat diubah menjadi embedding vektor menggunakan CNN. Dalam sistem rekomendasi, pengguna dan produk dapat diubah menjadi embedding untuk memprediksi preferensi. Dalam graph embedding, node dalam jaringan sosial dapat direpresentasikan sebagai vektor.
Keunggulan embedding adalah kemampuannya untuk menangkap makna semantik dan hubungan antar entitas dalam bentuk yang dapat diproses secara matematis. Ini memungkinkan model untuk melakukan penalaran abstrak, seperti menemukan analogi atau mengelompokkan item serupa.
Embedding juga memungkinkan transfer learning—pengetahuan yang dipelajari dari satu tugas (misalnya, memahami bahasa) dapat ditransfer ke tugas lain (misalnya, analisis sentimen) karena representasi embedding yang kaya dan generalizable.