Attention Mechanism adalah teknik dalam jaringan saraf yang memungkinkan model untuk fokus pada bagian-bagian tertentu dari input yang paling relevan pada saat menghasilkan output. Mekanisme ini terinspirasi dari cara manusia memperhatikan—ketika membaca sebuah kalimat, kita tidak memberikan perhatian yang sama pada setiap kata; kita fokus pada kata-kata kunci yang paling penting untuk memahami makna.
Dalam konteks neural network, attention mechanism bekerja dengan menghitung bobot perhatian (attention weights) untuk setiap elemen input. Bobot ini menentukan seberapa besar "perhatian" yang harus diberikan model pada setiap bagian input saat memproses atau menghasilkan output. Semakin tinggi bobot, semakin besar pengaruh bagian tersebut terhadap output.
Attention mechanism memiliki beberapa varian. Self-attention (atau intra-attention) menghitung hubungan antara elemen-elemen dalam input yang sama—misalnya, bagaimana setiap kata dalam kalimat berhubungan dengan kata-kata lainnya. Cross-attention menghitung hubungan antara input dan output—misalnya, dalam terjemahan mesin, bagaimana kata dalam bahasa sumber berhubungan dengan kata dalam bahasa target.
Keunggulan utama attention mechanism adalah kemampuannya untuk menangani ketergantungan jarak jauh (long-range dependencies). Dalam kalimat panjang, kata di awal dan di akhir kalimat bisa saling terkait, dan attention mechanism dapat menangkap hubungan ini dengan baik, tidak seperti RNN yang cenderung "melupakan" informasi yang lebih awal.
Attention mechanism adalah komponen kunci dari arsitektur Transformer. Tanpa attention, Transformer tidak akan bisa memahami konteks secara efektif. Attention juga digunakan dalam berbagai aplikasi lain, termasuk mesin penerjemah, peringkasan teks, dan sistem tanya-jawab.
Salah satu keuntungan attention adalah interpretabilitas—kita dapat memvisualisasikan bobot perhatian untuk melihat bagian mana dari input yang paling diperhatikan model saat membuat keputusan. Ini membantu peneliti memahami bagaimana model "berpikir" dan mendiagnosis kesalahan.