Mesin penerjemah sudah ada jauh sebelum ChatGPT populer. Kalau Anda memakainya sekitar sepuluh tahun lalu, Anda mungkin masih ingat hasilnya. Kata per katanya benar, tetapi kalimatnya patah dan rujukan kata gantinya sering meleset. Menerjemahkan satu paragraf berarti menyunting ulang hampir seluruh isinya.
Sekarang terjemahan mesin jauh lebih luwes, dan asisten AI sanggup mengikuti percakapan puluhan halaman tanpa kehilangan konteks. Lompatan itu bukan karena komputer mendadak berlipat kali lebih cepat, melainkan karena satu perubahan rancangan pada 2017.
Transformer adalah rancangan jaringan saraf tiruan yang mengolah seluruh urutan masukan sekaligus, sambil menimbang seberapa erat setiap bagian berkaitan dengan bagian lainnya. Rancangan inilah yang menjadi fondasi hampir semua model AI generatif yang Anda pakai hari ini.
Satu catatan sebelum masuk lebih jauh. Kata "transformer" dipakai untuk tiga hal berbeda dalam bahasa Indonesia, dan artikel ini membahas yang ketiga: arsitektur kecerdasan buatan. Pembedanya kami uraikan di section berikutnya.
Transformer Adalah: Pengertian dalam Kecerdasan Buatan
Transformer adalah arsitektur deep learning yang memproses data berurutan tanpa membacanya satu per satu dari depan ke belakang. Ia melihat seluruh masukan dalam satu tarikan, lalu menghitung sendiri bagian mana yang perlu diperhatikan untuk memaknai bagian lainnya. Mekanisme penimbang itu disebut attention (perhatian), dan dari sanalah kekuatan arsitektur ini berasal.
Rancangan ini diperkenalkan lewat makalah Attention Is All You Need, ditulis delapan peneliti Google, terbit 12 Juni 2017 dan dipresentasikan di konferensi NIPS 2017. Judulnya sudah menjadi pernyataan sikap: mekanisme perhatian saja sudah cukup, tanpa pembacaan berurutan maupun konvolusi yang dipakai model sebelumnya.
Susunan bertingkatnya membantu menempatkan istilah ini. Kecerdasan buatan adalah payung terluas. Di dalamnya ada machine learning, yaitu mesin yang belajar dari data ketimbang dari aturan tertulis. Di dalamnya lagi ada deep learning, yang memakai jaringan saraf tiruan berlapis banyak. Transformer salah satu bentuk arsitektur jaringan saraf tersebut, bersanding dengan CNN untuk gambar dan RNN untuk data berurutan.
Arsitektur di sini berarti pola susunan jaringan: berapa lapis, tiap lapis berisi apa, dan bagaimana informasi mengalir di antaranya. Dua model dengan arsitektur sama bisa punya kemampuan sangat berbeda, tergantung data dan skala pelatihannya.
Transformer AI, Transformator Listrik, dan Film Transformers
Tiga hal berikut memakai kata yang sama dan sering tertukar saat Anda mencarinya:
- Transformator atau trafo: komponen kelistrikan yang mengubah besaran tegangan, misalnya menurunkan tegangan tinggi jaringan PLN menjadi tegangan yang aman untuk rumah. Ini bidang teknik elektro dan tidak dibahas di sini.
- Transformers dengan huruf s: dalam bentuk jamak, Transformers adalah nama waralaba film dan mainan robot yang berubah bentuk menjadi kendaraan. Pertanyaan "apa itu Transformers" hampir selalu mengarah ke sana, bukan ke kecerdasan buatan.
- Transformer: arsitektur kecerdasan buatan yang menjadi pokok bahasan artikel ini.
Kenapa satu kata dipakai untuk tiga benda yang tidak berhubungan? Akarnya sama, yaitu kata kerja transform yang berarti mengubah bentuk. Trafo mengubah bentuk tegangan, robotnya mengubah bentuk fisik, dan arsitektur AI ini mengubah satu urutan menjadi urutan lain. Makalah aslinya menyebut tugas itu sequence transduction, misalnya mengalihkan kalimat bahasa Inggris menjadi kalimat bahasa Jerman.
Jadi kalau Anda mencari "transformer artinya" dan menemukan hasil yang berisi kumparan tembaga, hasil itu tidak keliru. Ia hanya menjawab pertanyaan yang berbeda.
Masalah yang Dipecahkan Transformer: Batas Membaca Berurutan
Sebelum 2017, model terbaik untuk mengolah bahasa adalah recurrent neural network atau RNN, beserta variannya yang bernama LSTM. Cara kerjanya meniru cara manusia membaca: satu kata pada satu waktu, dari kiri ke kanan, sambil membawa ringkasan dari kata-kata sebelumnya. Ringkasan itu terus diperbarui setiap kali satu kata baru masuk.
Pendekatan itu masuk akal, tetapi membawa dua persoalan serius. Yang pertama soal kecepatan. Karena kata kedua baru bisa diolah setelah kata pertama selesai, pelatihan tidak dapat dibagi ke banyak prosesor. Kartu grafis yang sanggup mengerjakan ribuan hitungan bersamaan justru menganggur.
Yang kedua soal ingatan, dan ini lebih merepotkan. Semakin jauh jarak dua kata yang berkaitan, semakin banyak langkah yang harus dilalui informasinya. Peluang kaitan itu memudar di tengah jalan pun membesar. Pada kalimat "Laporan yang dikirim manajer cabang Surabaya minggu lalu itu belum saya baca", kata "belum" harus dihubungkan kembali ke "Laporan" yang berjarak sembilan kata.
Makalah 2017 merangkum persoalan ini dalam sebuah tabel perbandingan. Dua kolom di bawah ini yang paling menjelaskan:
| Cara model mengolah urutan | Jarak maksimum antar dua kata | Langkah yang wajib berurutan |
|---|---|---|
| Berurutan (RNN dan LSTM) | O(n), sejauh posisi keduanya | O(n) |
| Self-attention (transformer) | O(1), selalu satu langkah | O(1) |
Notasi O(n) berarti nilainya tumbuh sebanding panjang kalimat, sedangkan O(1) berarti nilainya tetap berapa pun panjang kalimatnya. Baris kedua itulah terobosannya. Pada transformer, kata "belum" dan kata "Laporan" berjarak satu langkah, sama dekatnya dengan dua kata yang bersebelahan. Panjang kalimat berhenti menjadi penghalang, dan seluruh kata bisa diolah bersamaan karena tidak ada lagi yang perlu menunggu giliran.
Dari kata 1 ke kata 6: RNN merambat lewat 5 langkah dan sinyalnya memudar, transformer terhubung dalam 1 langkah.
Cara Kerja Transformer: Tiga Mekanisme Intinya
Prinsip kerja transformer bertumpu pada tiga mekanisme. Memahami ketiganya sudah cukup untuk menangkap inti arsitekturnya.
Self-Attention: Menimbang Hubungan Antar-Kata
Self-attention adalah proses saat setiap kata menghitung seberapa relevan seluruh kata lain untuk memaknai dirinya sendiri. Hasilnya berupa bobot: kata yang relevan mendapat bobot besar, yang tidak relevan mendapat bobot mendekati nol.
Ambil kalimat "Andi menaruh laptop di atas meja karena ia panas". Kata "ia" merujuk ke Andi atau ke laptop? Manusia menjawabnya dari pengetahuan bahwa laptop bisa memanas. Transformer menempuh jalan berbeda. Kata "ia" menimbang seluruh kata di kalimat itu, dan dari pelatihan model belajar bahwa bobot terbesar sebaiknya jatuh ke "laptop".
Perhitungan bobot itu memakai tiga peran yang dihasilkan dari setiap kata:
- Query: pertanyaan yang diajukan sebuah kata, kira-kira berbunyi "informasi seperti apa yang saya butuhkan untuk dipahami?"
- Key: label yang ditawarkan setiap kata, semacam papan nama yang berbunyi "inilah jenis informasi yang saya punya."
- Value: isi sesungguhnya yang akan disetorkan sebuah kata kalau ternyata ia dianggap relevan.
Model mencocokkan Query milik satu kata dengan Key milik semua kata. Semakin cocok keduanya, semakin besar bobotnya, dan semakin banyak Value kata itu ikut membentuk pemaknaan akhir. Seluruhnya berupa perkalian matriks, sehingga kartu grafis dapat mengerjakannya untuk semua kata sekaligus.
Tiga peran self-attention: Query bertanya, Key menawarkan isinya, Value menyetorkannya; makin cocok makin besar bobot.
Multi-Head Attention: Delapan Sudut Pandang Sekaligus
Satu penimbangan saja ternyata belum memadai. Hubungan antar-kata punya banyak jenis: siapa melakukan apa, kata ganti dengan rujukannya, keterangan waktu dengan peristiwanya. Memaksa satu penimbang menangkap semuanya membuat hasilnya rata-rata dan kabur.
Solusinya disebut multi-head attention, yaitu menjalankan beberapa penimbangan sejajar yang masing-masing bebas memusatkan perhatian pada jenis hubungan berbeda. Model dasar pada makalah 2017 memakai delapan penimbang semacam itu. Karena representasi tiap kata berukuran 512 angka, tiap penimbang mendapat jatah 512 dibagi 8, yakni 64 angka. Biaya hitung totalnya tetap setara satu penimbang berukuran penuh, tetapi hasilnya jauh lebih kaya.
Positional Encoding: Menandai Urutan Kata
Membuang pembacaan berurutan membawa akibat yang harus ditambal. Kalau seluruh kata masuk bersamaan, model kehilangan informasi tentang mana yang lebih dulu. Padahal urutan menentukan makna: "anjing menggigit tukang pos" dan "tukang pos menggigit anjing" memakai kata yang sama persis.
Karena itu setiap kata diberi tanda posisi sebelum masuk ke lapisan attention. Tanda itu berupa pola angka yang ditambahkan ke representasi kata, dan makalah aslinya membangkitkannya dari fungsi sinus dan kosinus. Mekanisme ini disebut positional encoding. Hasilnya, model tetap mengetahui urutan tanpa membaca secara berurutan.
Anatomi Transformer: Encoder, Decoder, dan Angka di Dalamnya
Ketiga mekanisme tadi tidak berdiri sendiri. Di dalam arsitektur transformer, ketiganya disusun bertumpuk pada dua blok besar.
Encoder bertugas memahami masukan. Ia menerima kalimat sumber lalu mengubahnya menjadi representasi angka yang kaya konteks. Decoder bertugas menghasilkan keluaran, menyusun kata demi kata sambil melirik dua hal: hasil kerja encoder, dan kata yang sudah ia hasilkan sebelumnya.
Model dasar pada makalah 2017 menumpuk enam lapisan encoder dan enam lapisan decoder. Setiap lapisan berisi blok attention tadi, ditambah jaringan feed-forward berukuran 2.048 sebagai pengolah lanjutan. Angka lengkapnya:
| Ukuran | Model dasar | Model besar |
|---|---|---|
| Lapisan encoder dan decoder | 6 | 6 |
| Representasi per kata | 512 angka | 1.024 angka |
| Jumlah attention head | 8 | 16 |
| Jumlah parameter | 65 juta | 213 juta |
Yang menarik justru biaya pelatihannya. Model dasar dilatih 100.000 langkah, atau sekitar 12 jam, pada satu mesin berisi delapan GPU NVIDIA P100. Model besarnya butuh 300.000 langkah, setara 3,5 hari, dan mencatat skor BLEU 41,8 untuk terjemahan Inggris ke Prancis — rekor model tunggal saat itu.
Angka 65 juta parameter terdengar kecil menurut ukuran sekarang, dan memang begitulah adanya. Yang dibuktikan makalah itu bukan bahwa model besar bekerja, melainkan bahwa arsitekturnya bekerja. Pembesaran skala datang belakangan.
Tiga Keluarga Model Transformer: BERT, GPT, dan T5
Rancangan asli memakai encoder dan decoder sekaligus. Namun masing-masing blok ternyata berguna sendiri-sendiri, dan dari sana lahir tiga keluarga model yang menguasai pengolahan bahasa hingga hari ini.
- Encoder-only, diwakili BERT (Oktober 2018): hanya memakai blok encoder, sehingga kuat untuk memahami teks yang sudah ada. Cocok untuk klasifikasi, pencarian makna, analisis sentimen, dan penandaan entitas. Ia membaca kalimat dari dua arah sekaligus, tetapi tidak dirancang untuk mengarang kelanjutan.
- Decoder-only, diwakili GPT (Juni 2018): hanya memakai blok decoder, sehingga kuat untuk menghasilkan teks baru kata demi kata. Kepanjangannya Generative Pre-trained Transformer, dan huruf T di ujungnya memang merujuk ke arsitektur ini. Inilah jalur yang dipakai ChatGPT beserta hampir semua LLM modern.
- Encoder-decoder, diwakili T5 (2019): mempertahankan keduanya seperti rancangan asli, cocok untuk tugas yang mengubah satu teks menjadi teks lain, seperti terjemahan dan peringkasan.
BERT 2018 memakai encoder saja untuk memahami, GPT 2018 decoder saja untuk menghasilkan, T5 2019 memakai keduanya.
Pembagian tersebut menjelaskan satu hal yang sering membingungkan. Transformer bukan nama sebuah model, melainkan nama rancangannya, dan model yang dibangun di atasnya lazim disebut transformer model. BERT, GPT, Gemini, dan Claude adalah model berbeda yang dibangun di atas rancangan sama, seperti banyak merek mobil yang memakai mesin pembakaran dalam. Perkembangan NLP beberapa tahun terakhir hampir seluruhnya bertumpu pada tiga keluarga itu.
Transformer di Luar Teks: Gambar, Suara, dan Kode
Ada satu kesalahpahaman yang perlu diluruskan: transformer sesungguhnya bukan model bahasa. Ia model urutan, dan bahasa kebetulan berbentuk urutan. Begitu ada cara mengubah jenis data lain menjadi urutan, arsitektur yang sama bisa langsung dipakai.
Pembuktiannya datang pada Oktober 2020 lewat Vision Transformer atau ViT. Gagasannya sederhana dan berani: potong gambar menjadi kotak berukuran 16x16 piksel, perlakukan tiap potongan seperti sebuah kata, lalu jalankan transformer biasa. Judul makalahnya menyatakan gagasan itu secara langsung, An Image is Worth 16x16 Words. Hasilnya sanggup menyaingi CNN, yang bertahun-tahun menjadi pilihan baku untuk pengenalan gambar.
Pola yang sama kemudian merambat ke jenis data lain. Suara dipecah menjadi potongan waktu, kode program menjadi token, dan struktur protein menjadi urutan asam amino. Semuanya masuk ke arsitektur yang pada dasarnya tidak berubah. Kemampuan model AI membaca gambar sekaligus teks berakar dari sifat lentur ini, dan pembahasannya berlanjut di artikel AI generatif.
Kelebihan Transformer
- Pelatihan bisa diparalelkan: karena tidak ada kata yang menunggu giliran, seluruh isi kalimat dihitung bersamaan. Inilah alasan model raksasa hari ini realistis untuk dilatih, dan alasan makalah aslinya sanggup melatih model dasar hanya dalam 12 jam.
- Hubungan jauh tetap kuat: jarak antar dua kata selalu satu langkah, sehingga kaitan di awal dan akhir dokumen panjang tidak memudar seperti pada RNN.
- Skalanya terbukti membuahkan hasil: menambah data, parameter, dan waktu latih konsisten menaikkan kemampuan model. Sifat ini tidak dimiliki semua arsitektur, dan menjadi alasan investasi besar-besaran di bidang AI.
- Satu arsitektur untuk banyak jenis data: teks, gambar, suara, dan kode ditangani rancangan yang pada intinya sama. Tidak perlu menguasai arsitektur berbeda untuk tiap kebutuhan.
- Ekosistem model siap pakai: ribuan model terlatih tersedia terbuka dan bisa disesuaikan dengan data sendiri, tanpa melatih dari nol.
Kelemahan dan Hal yang Perlu Anda Pertimbangkan
- Biaya melonjak kuadratik terhadap panjang konteks: sumbernya persis mekanisme yang menjadi kekuatannya. Karena setiap kata menimbang setiap kata lain, jumlah pasangan yang dihitung adalah n dikali n. Melipatduakan panjang konteks berarti melipatempatkan hitungan dan kebutuhan memori. Di sinilah alasan penyedia AI menagih lebih untuk percakapan panjang.
- Rakus data dan energi: kemampuan bahasa yang meyakinkan menuntut korpus teks raksasa serta perangkat keras mahal. Melatih model besar dari nol berada di luar jangkauan sebagian besar organisasi.
- Alasan keputusannya sulit ditelusuri: bobot perhatian bisa dilihat, tetapi ia tidak setara dengan penjelasan. Model dapat memberi jawaban tepat lewat alur penalaran yang tidak dapat diperiksa, dan ini menyulitkan pemakaian di bidang yang menuntut pertanggungjawaban.
- Pengetahuannya berhenti di batas konteks dan data latih: apa pun yang tidak muat di jendela konteks dianggap tidak ada. Untuk menambalnya, dokumen relevan dicarikan lebih dulu lalu disisipkan ke dalam konteks. Pendekatan itu dikenal sebagai RAG.
Kelemahan pertama dan kelebihan kedua berasal dari baris tabel yang sama pada makalah 2017. Menimbang seluruh pasangan kata itulah yang membuat hubungan jauh tetap kuat, sekaligus yang membuat konteks panjang mahal. Keduanya satu paket, bukan dua persoalan terpisah.
Transformer untuk Bahasa Indonesia
Model besar hari ini memang multibahasa, tetapi porsi bahasa Indonesia di data latihnya jauh lebih kecil dibanding bahasa Inggris. Akibatnya terasa pada tugas yang menuntut kepekaan lokal, misalnya menilai sentimen ulasan berbahasa campuran atau menandai nama tempat yang hanya dikenal di Indonesia.
Karena itu ada model transformer yang dilatih khusus. IndoBERT salah satu yang paling banyak dipakai, dirilis pada 2020 bersama tolok ukur IndoNLU. Versi dasarnya berisi 124,5 juta parameter dan dilatih dari korpus Indo4B berukuran 23,43 GB teks berbahasa Indonesia. Ukurannya memang tidak sebanding dengan model komersial, tetapi untuk pemahaman teks berbahasa Indonesia hasilnya kerap lebih baik ketimbang model multibahasa berukuran serupa.
Model semacam ini tersedia terbuka dan dapat dijalankan di kartu grafis kelas menengah. Menyesuaikannya dengan data sendiri lazimnya membutuhkan beberapa ribu contoh berlabel, bukan jutaan, karena pemahaman bahasa dasarnya terbentuk saat pelatihan awal.
Pertanyaan yang Sering Diajukan
Apa itu transformer dalam AI secara singkat?
Transformer adalah arsitektur jaringan saraf yang memproses seluruh urutan masukan sekaligus dan menimbang keterkaitan antar-bagiannya lewat mekanisme attention. Ia menggantikan cara lama yang membaca data satu per satu secara berurutan.
Kenapa rancangan ini disebut transformer?
Karena tugas yang dikerjakannya adalah mengubah satu urutan menjadi urutan lain, misalnya kalimat bahasa Inggris menjadi kalimat bahasa Indonesia. Makalah aslinya menyebut tugas tersebut sequence transduction. Namanya tidak berhubungan dengan transformator listrik maupun film robot.
Apa bedanya transformer, LLM, dan ChatGPT?
Ketiganya berada di tingkat berbeda. Transformer adalah rancangan arsitekturnya, LLM adalah model bahasa besar yang memakai rancangan tersebut, dan ChatGPT adalah produk percakapan yang berjalan di atas sebuah LLM. Urutannya dari rancangan, ke model, lalu ke produk.
Apa bedanya transformer dengan RNN dan CNN?
RNN membaca data berurutan satu per satu sehingga hubungan jauh mudah memudar. CNN memindai data dengan jendela kecil sehingga unggul untuk pola lokal seperti tepi pada gambar. Transformer menimbang seluruh bagian sekaligus, sehingga jarak berhenti menjadi masalah dan hitungannya bisa diparalelkan.
Apa bedanya encoder dan decoder pada transformer?
Encoder membaca seluruh masukan sekaligus dan mengubahnya menjadi representasi angka yang kaya konteks, sehingga cocok untuk memahami. Decoder menyusun keluaran kata demi kata sambil melihat kata yang sudah ia hasilkan, sehingga cocok untuk menulis. BERT memakai encoder saja, GPT memakai decoder saja.
Apakah transformer hanya untuk teks?
Tidak. Selama sebuah data bisa dipecah menjadi urutan potongan, arsitektur ini dapat dipakai. Vision Transformer memotong gambar menjadi kotak 16x16 piksel dan memperlakukan tiap kotak seperti kata. Pendekatan serupa dipakai untuk suara, kode program, maupun urutan asam amino.
Apakah transformer masih dipakai di model AI terbaru?
Masih, dan sejauh ini belum tergantikan. Sebagian besar pengembangan sesudah 2017 berupa penyempurnaan di sekitar arsitektur transformer, misalnya cara menekan biaya kuadratik atau cara melatih model lebih hemat. Inti penimbangan lewat attention tetap dipertahankan.
Kesimpulan
Transformer adalah arsitektur jaringan saraf dari 2017 yang mengolah seluruh masukan sekaligus sambil menimbang keterkaitan antar-bagiannya. Satu perubahan tersebut menyelesaikan dua batasan model lama sekaligus, yaitu pelatihan yang tidak dapat diparalelkan dan hubungan antar-kata jauh yang mudah memudar. Dari sanalah hampir seluruh kemampuan AI generatif yang Anda pakai hari ini berasal.
Kalau pekerjaan Anda sebatas memakai layanan AI, memahami sampai tingkat ini sudah memadai. Anda bisa menjelaskan kenapa konteks panjang berbiaya lebih mahal dan kenapa model punya batas ingatan. Kalau Anda berniat membangun sesuatu di atasnya, tiga mekanisme di artikel ini adalah titik awal sebelum masuk ke rumus dan kodenya.
Semoga artikel ini membantu.
