Transformer adalah arsitektur jaringan saraf yang diperkenalkan pada tahun 2017 dalam makalah "Attention Is All You Need" dan telah menjadi fondasi bagi hampir semua model AI generatif modern. Transformer adalah arsitektur di balik Large Language Models seperti GPT, BERT, Claude, dan Gemini.
Keunggulan utama Transformer dibandingkan arsitektur sebelumnya (seperti RNN dan LSTM) adalah kemampuannya untuk memproses semua kata dalam input secara paralel, bukan secara berurutan. Ini memungkinkan pelatihan yang jauh lebih cepat dan efisien, serta kemampuan untuk menangani konteks yang lebih panjang.
Transformer menggunakan mekanisme yang disebut self-attention untuk memahami hubungan antara kata-kata dalam sebuah kalimat, terlepas dari jaraknya. Misalnya, dalam kalimat "kucing yang duduk di atas matras itu tidur", Transformer dapat dengan mudah menghubungkan kata "kucing" dengan "tidur" meskipun ada banyak kata di antaranya.
Arsitektur Transformer terdiri dari dua komponen utama: encoder, yang memproses input, dan decoder, yang menghasilkan output. Beberapa model menggunakan hanya encoder (seperti BERT untuk pemahaman bahasa), hanya decoder (seperti GPT untuk generasi teks), atau keduanya (seperti T5 untuk terjemahan).
Transformer telah merevolusi AI karena skalabilitasnya—model dapat dibuat semakin besar dengan menambahkan lebih banyak lapisan dan parameter, dan performanya terus meningkat seiring dengan ukuran dan data pelatihan. Inilah yang memungkinkan munculnya model dengan ratusan miliar parameter seperti GPT-4.
Di luar NLP, Transformer juga diadaptasi untuk berbagai domain lain, termasuk visi komputer (Vision Transformer atau ViT), pemrosesan audio, dan bahkan biologi komputasi untuk memprediksi struktur protein. Transformer adalah salah satu inovasi terpenting dalam AI dekade ini.