Anda mungkin pernah memotret struk belanja, mengirimkannya ke asisten AI, lalu meminta total pengeluaran dihitung. Atau memotret soal matematika dan meminta langkah penyelesaiannya. Hal sederhana ini sebenarnya baru bisa dilakukan beberapa tahun terakhir. Model AI generasi sebelumnya hanya sanggup menerima teks, sehingga apa pun yang ingin Anda tanyakan harus diketik ulang menjadi kalimat. Kemampuan menerima foto, suara, dan teks dalam satu percakapan inilah yang disebut multimodal AI.
Multimodal AI Adalah: Pengertian dan Modalitas
Multimodal AI adalah sistem kecerdasan buatan yang mampu menerima dan mengolah lebih dari satu jenis data sekaligus dalam satu alur pemahaman. Istilah kuncinya ada pada kata modality (modalitas), yang berarti jenis atau kanal data yang masuk ke sistem. Teks adalah satu modalitas, gambar modalitas lain, begitu pula suara, video, dan data dari sensor.
Yang membuat sebuah sistem layak disebut AI multimodal bukan sekadar banyaknya kemampuan yang dimilikinya. Sebuah aplikasi bisa saja memiliki fitur pengenal gambar dan fitur penerjemah teks. Kalau keduanya berjalan sendiri-sendiri tanpa pernah saling berbicara, itu hanyalah dua sistem terpisah dalam satu tampilan. Multimodal berarti informasi dari berbagai modalitas benar-benar digabungkan, sehingga model dapat menghubungkan apa yang ia lihat dengan apa yang ia baca.
Perbedaannya terasa saat Anda mengirim foto grafik penjualan disertai pertanyaan "kenapa turun di bulan ketiga?". Model harus membaca angka pada gambar, memahami maksud pertanyaan Anda, lalu mengaitkan keduanya. Tidak ada satu modalitas pun yang cukup untuk menjawab sendirian.
Modalitas tidak selalu berarti sesuatu yang bisa dilihat atau didengar manusia. Pada penerapan industri, modalitas bisa berupa data suhu, getaran mesin, atau pembacaan sensor jarak — semuanya bisa digabungkan dengan cara yang sama.
"Multimodal" Tidak Selalu Berarti AI
Ada satu hal yang perlu diluruskan sejak awal, terutama bagi pembaca Indonesia. Kata "multimodal" dipakai oleh setidaknya tiga bidang yang sama sekali berbeda, dan hanya satu di antaranya berkaitan dengan kecerdasan buatan.
- Teks multimodal dalam pelajaran Bahasa Indonesia: teks yang menggabungkan tulisan dengan gambar, grafik, atau warna, seperti infografik dan poster. Ini materi kurikulum sekolah.
- Pembelajaran multimodal dalam dunia pendidikan: pendekatan mengajar yang memakai beberapa kanal sekaligus, misalnya penjelasan lisan disertai visual dan praktik langsung.
- Angkutan multimoda dalam logistik: pengiriman barang yang memakai lebih dari satu moda transportasi, misalnya truk lalu kapal, di bawah satu dokumen pengangkutan.
Benang merahnya sebenarnya sama, yaitu "lebih dari satu kanal". Namun objeknya berbeda jauh. Kalau Anda mencari informasi tentang salah satu dari tiga hal di atas, pembahasan selanjutnya dalam artikel ini kemungkinan bukan yang Anda butuhkan. Mulai bagian berikutnya, kata multimodal selalu merujuk pada AI.
Beda Multimodal AI dan AI Satu Modalitas
Lawan dari multimodal adalah unimodal, yaitu model yang hanya menangani satu jenis data. Model penerjemah bahasa yang murni bekerja dari teks ke teks adalah contoh unimodal. Demikian pula sistem computer vision klasik yang hanya menerima gambar dan mengembalikan nama objek di dalamnya.
Model unimodal tidak lebih buruk. Untuk pekerjaan yang memang hanya melibatkan satu jenis data, model unimodal biasanya lebih kecil, lebih murah dijalankan, dan lebih mudah diperiksa hasilnya. Masalah muncul ketika informasi yang dibutuhkan tersebar di beberapa kanal sekaligus.
Bayangkan sistem yang memeriksa keluhan pelanggan. Pelanggan menulis "barang sampai dalam kondisi tidak layak" sambil melampirkan foto kemasan yang penyok. Model teks saja akan menangkap keluhannya, tetapi tidak tahu seberapa parah kerusakannya. Model gambar saja akan melihat kemasan penyok, tetapi tidak tahu apakah itu keluhan atau sekadar dokumentasi. Penilaian yang benar hanya mungkin bila keduanya dibaca bersamaan.
Istilah Penting Seputar Multimodal AI
Beberapa istilah berikut akan muncul berulang di sisa artikel ini. Memahaminya lebih dahulu membuat pembahasan teknis berikutnya jauh lebih mudah diikuti.
- Modalitas: satu jenis atau kanal data, misalnya teks, gambar, suara, video, atau pembacaan sensor.
- Multimodal data: kumpulan data yang memuat lebih dari satu modalitas dan sudah berpasangan satu sama lain. Contohnya foto beserta keterangannya, atau video beserta transkripnya.
- Multimodal model: model yang dilatih memakai multimodal data sehingga sanggup menerima lebih dari satu jenis masukan. Sebutan model multimodal merujuk pada hal yang sama.
- Multimodal deep learning: cabang deep learning yang khusus menangani penggabungan beberapa modalitas di dalam satu jaringan.
- Embedding: bentuk angka dari sebuah data setelah diolah encoder, dibahas tersendiri di artikel embedding. Dua data yang maknanya mirip akan punya embedding yang berdekatan.
- Fusi: proses menyatukan embedding dari beberapa modalitas menjadi satu pemahaman utuh.
Cara Kerja Multimodal AI: Encoder sampai Decoder
Persoalan mendasar yang harus dipecahkan sebuah model multimodal terdengar sederhana, tetapi tidak mudah: gambar dan kalimat adalah dua hal yang secara bentuk sama sekali tidak sebanding. Gambar adalah kumpulan nilai piksel, sedangkan kalimat adalah rangkaian kata. Keduanya harus diubah menjadi bentuk yang sama sebelum bisa dibandingkan. Susunan yang kini menjadi baku terdiri atas tiga bagian.
Alur AI multimodal: teks, gambar, dan suara lewat encoder terpisah, disatukan penghubung, lalu decoder menyusun jawaban.
Bagian pertama adalah encoder, yaitu komponen yang mengubah satu jenis data menjadi deretan angka. Setiap modalitas punya encoder sendiri yang dirancang khusus untuk bentuk datanya, dan komponen ini umumnya dibangun dengan jaringan saraf tiruan. Encoder gambar memotong foto menjadi petak-petak kecil lalu memperlakukan tiap petak seperti sebuah kata — gagasan yang berasal dari Vision Transformer dan dibahas lebih dalam pada artikel transformer.
Di sinilah muncul angka yang layak Anda ingat. Gambar berukuran 224x224 piksel yang dipotong menjadi petak 14x14 menghasilkan 256 potongan. Setelah masuk ke model bahasa, tiap potongan itu menempati ruang setara satu token (satuan terkecil yang dibaca model). Artinya satu gambar berukuran sedang dapat menghabiskan ratusan token sebelum Anda mengetik satu kata pun.
Perjalanan gambar di multimodal AI: 224x224 dipotong jadi petak 14x14, menghasilkan 256 potongan, lalu jadi token.
Bagian kedua adalah connector atau lapisan penghubung. Angka keluaran encoder gambar belum tentu "berbicara bahasa" yang sama dengan model bahasa. Penghubung bertugas memetakan angka tersebut ke dalam ruang makna bersama (embedding space), tempat foto seekor kucing dan kalimat "seekor kucing" berada pada posisi yang berdekatan.
Bagian ketiga adalah decoder, biasanya berupa model bahasa yang menyusun jawaban dalam bentuk teks. Sebagian model juga mampu mengeluarkan gambar atau suara, tetapi keluaran teks tetap yang paling umum.
Tiga Cara Menggabungkan Modalitas
Setelah tiap modalitas berhasil diubah menjadi angka, pertanyaan berikutnya adalah kapan angka-angka itu sebaiknya disatukan. Proses penyatuan ini disebut fusion (fusi), dan waktu pelaksanaannya menentukan karakter model.
- Fusi awal: seluruh modalitas digabungkan sejak di lapisan masukan, sebelum diproses lebih jauh. Model dapat menangkap kaitan halus antar-modalitas sejak dini, tetapi cara ini menuntut penyelarasan yang presisi. Data harus benar-benar cocok satu sama lain, baik dari sisi waktu maupun posisi.
- Fusi akhir: tiap modalitas diproses hampir sepenuhnya secara terpisah, baru keluarannya digabungkan di ujung. Pendekatan ini lebih tahan terhadap data yang tidak sinkron dan tetap berjalan meski satu modalitas hilang, namun kaitan halus antar-modalitas berpotensi terlewat.
- Fusi campuran: menggabungkan keduanya, atau menyisipkan blok lintas-modal di beberapa lapisan sekaligus. Inilah yang paling banyak dipakai model besar sekarang.
| Strategi | Modalitas disatukan | Paling cocok saat |
|---|---|---|
| Fusi awal | Di lapisan masukan | Data benar-benar selaras |
| Fusi akhir | Setelah diproses sendiri | Data tidak sinkron |
| Fusi campuran | Bertahap di beberapa lapisan | Kebutuhan umum model besar |
Cara penghubung dibangun juga bermacam-macam, dan pilihannya berdampak langsung pada biaya pemakaian. Rancangan paling ringan adalah proyeksi, yakni jaringan kecil dua lapis yang memetakan tiap potongan gambar menjadi satu token. Sederhana dan cepat, tetapi 256 potongan berarti 256 token tambahan.
Tiga penghubung multimodal AI: proyeksi memetakan satu-satu, Q-Former meringkas jadi empat, cross-attention menyilang.
Rancangan kedua memampatkan lebih dahulu. Pendekatan yang dikenal sebagai Q-Former memakai transformer kecil untuk meringkas ratusan potongan menjadi sejumlah kecil token ringkasan — pada BLIP-2 hanya 32 token. Konteks yang terpakai jauh berkurang, dengan konsekuensi sebagian detail halus ikut hilang dan dibutuhkan tahap pelatihan tersendiri.
Rancangan ketiga adalah cross-attention, yang menyisipkan lapisan khusus di antara lapisan model bahasa. Token teks bertindak sebagai penanya, sedangkan token visual menyediakan jawabannya. Kelebihan utamanya, model bahasa dapat dibekukan sepenuhnya sehingga kemampuan mengolah teksnya tidak menurun.
Perbedaan ketiganya paling terasa pada jumlah token yang dihabiskan satu gambar:
| Rancangan | Token dari satu gambar | Konsekuensi |
|---|---|---|
| Proyeksi | 256, satu per potongan | Ringan, tetapi boros konteks |
| Q-Former | 32 token ringkasan | Hemat, sebagian detail hilang |
| Cross-attention | Tidak menambah token teks | Kemampuan bahasa tetap utuh |
Multimodal LLM: Saat Model Bahasa Belajar Melihat
Sebagian besar AI multimodal yang Anda pakai sehari-hari sebenarnya bukan dibangun dari nol. Ia adalah model bahasa besar yang sudah matang, lalu dipasangi "mata" berupa encoder gambar. Inilah yang disebut multimodal LLM. Pendekatan ini jauh lebih hemat daripada melatih model raksasa dari awal dengan seluruh modalitas sekaligus.
Pelatihannya umumnya berlangsung dalam dua tahap. Pada tahap penyelarasan, encoder gambar dan model bahasa dibekukan, dan hanya lapisan penghubung yang dilatih memakai pasangan gambar dan keterangannya. Tujuannya semata-mata mengajari penghubung menerjemahkan. Pada tahap kedua, penghubung dan model bahasa dibuka bersama-sama lalu dilatih dengan data instruksi, mirip proses fine tuning pada model teks.
Dua tahap pelatihan multimodal LLM: penghubung dilatih saat model beku, lalu keduanya dibuka dengan data instruksi.
Tahap kedua ini menyimpan risiko yang perlu diperhatikan. Bila model terlalu banyak dilatih dengan data gambar, kemampuan teksnya bisa menurun — gejala yang dikenal sebagai catastrophic forgetting. Penawarnya cukup langsung: campurkan kembali data teks berkualitas ke dalam pelatihan. Pada NVLM 1.0, langkah ini dilaporkan menaikkan nilai soal matematika berbasis teks sebesar 4,3 poin rata-rata.
Sejarah Multimodal AI: dari CLIP ke Model Omni
Kemampuan yang sekarang terasa biasa ini dibangun dari beberapa pemecahan masalah yang berurutan. Menelusurinya membantu memahami kenapa arsitekturnya berbentuk seperti sekarang.
Titik awalnya adalah CLIP dari OpenAI, yang makalahnya terbit pada 26 Februari 2021. Gagasannya adalah melatih encoder gambar dan encoder teks secara bersamaan memakai 400 juta pasangan gambar dan keterangan yang dikumpulkan dari internet. Hasilnya, representasi foto seekor anjing menjadi berdekatan dengan representasi kalimat yang mendeskripsikannya. Ruang makna bersama yang menjadi dasar hampir semua model multimodal sesudahnya lahir dari sini.
Persoalan berikutnya adalah menyambungkan model visi dan model bahasa yang sudah terlatih tanpa harus melatih ulang keduanya. Flamingo dari DeepMind menjawabnya pada 29 April 2022 dengan menyisipkan lapisan penghubung, sehingga model dapat menjawab pertanyaan tentang gambar maupun video.
Kemampuan itu sampai ke tangan pengguna umum pada 25 September 2023, ketika OpenAI menerbitkan kartu sistem GPT-4V dan mengaktifkan kemampuan membaca gambar di ChatGPT. Babak berikutnya dimulai pada 13 Mei 2024 lewat GPT-4o, dengan huruf "o" berasal dari kata omni. Berbeda dari pendahulunya yang menyambungkan komponen terpisah, model ini menangani teks, gambar, dan suara secara langsung. Perkembangan ini juga memperluas cakupan AI generatif, yang keluarannya tidak lagi terbatas pada satu bentuk. Model yang sanggup menerima sekaligus menghasilkan beberapa modalitas inilah yang kini disebut multimodal generative AI.
Contoh Penerapan Multimodal AI
Penerapannya sudah jauh melampaui percakapan dengan chatbot:
- Membaca dokumen dan struk: mengubah foto faktur, KTP, atau nota menjadi data terstruktur, lengkap dengan pemahaman tata letaknya.
- Menerjemahkan lewat kamera: mengarahkan ponsel ke papan petunjuk berbahasa asing dan menerima terjemahannya langsung.
- Membantu tunanetra: menerangkan isi sebuah ruangan atau tampilan layar dalam bentuk kalimat.
- Analisis citra medis: menggabungkan hasil pencitraan dengan catatan riwayat pasien untuk membantu penilaian dokter.
- Kendaraan dan robot: menyatukan masukan kamera, radar, dan sensor jarak menjadi satu pemahaman situasi.
- Moderasi konten: menilai unggahan yang gambarnya tampak wajar tetapi teksnya bermasalah, atau sebaliknya.
Modalitas tambahan juga dapat dipasangkan pada sistem pencarian dokumen. Bila Anda ingin mendalami cara model mencari rujukan sebelum menjawab, pembahasannya ada di artikel RAG.
Kelebihan Multimodal AI
- Konteks yang lebih utuh: model menilai dari beberapa sudut sekaligus, sehingga kesimpulannya lebih dekat dengan cara manusia menimbang informasi.
- Lebih tahan terhadap masukan yang kurang jelas: saat foto buram, keterangan teks dapat menutupi kekurangannya, dan sebaliknya.
- Satu antarmuka untuk banyak pekerjaan: tidak perlu berpindah-pindah aplikasi hanya karena jenis datanya berbeda.
- Menjangkau pekerjaan yang sebelumnya mustahil: menanyakan isi sebuah grafik atau meminta penjelasan tangkapan layar tidak punya padanan pada model teks saja.
Kekurangan dan Hal yang Perlu Anda Pertimbangkan
Seperti teknologi lain, kemampuan ini datang bersama sejumlah konsekuensi yang sebaiknya Anda ketahui sebelum menggantungkan pekerjaan penting padanya.
- Boros konteks dan biaya: kembali ke angka 256 potongan tadi, satu gambar dapat menghabiskan ratusan token. Percakapan panjang berisi banyak gambar akan lebih cepat mencapai batas, dan pada pemakaian berbayar biayanya ikut naik.
- Halusinasi lintas modalitas: model dapat menyebutkan objek yang sebenarnya tidak ada dalam gambar, atau salah membaca angka pada foto yang kurang tajam. Untuk angka penting seperti nominal faktur, hasilnya tetap perlu Anda periksa ulang.
- Penyelarasan data yang sulit: menyatukan modalitas dengan resolusi, sudut pandang, atau waktu perekaman berbeda hampir selalu menyebabkan sebagian informasi hilang. Pada sistem berbasis sensor, cuaca dan pencahayaan memperparah keadaan.
- Data berpasangan yang langka: melatih model multimodal membutuhkan data yang benar-benar berpasangan dan berkualitas. Di banyak bidang khusus, data semacam ini sangat sedikit tersedia.
- Kemampuan teks bisa menurun: sebagaimana dijelaskan sebelumnya, pelatihan yang tidak seimbang dapat menggerus kemampuan asli model dalam mengolah bahasa.
- Sulit ditelusuri alasannya: ketika jawaban datang dari gabungan beberapa modalitas, menentukan modalitas mana yang menyebabkan kekeliruan menjadi jauh lebih rumit dibanding model satu modalitas.
Konsekuensinya untuk keputusan sehari-hari cukup jelas. Bila pekerjaan Anda murni berupa teks — menyusun ringkasan, menerjemahkan, atau merapikan tulisan — model teks biasa umumnya lebih cepat dan lebih murah. Kemampuan multimodal baru benar-benar terbayar ketika informasi yang Anda butuhkan memang terletak pada gambar atau suaranya.
Pertanyaan yang Sering Diajukan
Apakah ChatGPT termasuk multimodal AI?
Versi yang beredar sekarang termasuk multimodal, karena dapat menerima gambar dan suara selain teks. Namun tidak semua model di baliknya punya kemampuan sama. Versi awal ChatGPT sepenuhnya bekerja dengan teks, dan kemampuan membaca gambar baru diaktifkan pada September 2023.
Apa arti modalitas dalam AI?
Modalitas berarti jenis atau kanal data yang diterima sebuah sistem. Teks, gambar, suara, video, dan pembacaan sensor masing-masing merupakan satu modalitas. Sebuah model disebut multimodal bila mampu mengolah lebih dari satu di antaranya dalam satu alur pemahaman.
Apakah multimodal AI sama dengan multimodal LLM?
Tidak persis sama. Multimodal LLM adalah salah satu bentuk multimodal AI, yaitu yang inti pemrosesannya berupa model bahasa besar. Sistem multimodal juga bisa dibangun tanpa model bahasa sama sekali, misalnya sistem industri yang menggabungkan data kamera dan getaran mesin untuk mendeteksi kerusakan.
Kenapa mengirim gambar terasa lebih cepat menghabiskan batas percakapan?
Karena gambar tidak dihitung sebagai satu berkas, melainkan dipecah menjadi ratusan potongan yang masing-masing menempati ruang setara satu token. Satu gambar berukuran sedang bisa setara dengan beberapa paragraf teks. Beberapa model memakai teknik pemampatan untuk menekan jumlah ini.
Apakah kata "multimodal" selalu berhubungan dengan AI?
Tidak. Dalam pelajaran Bahasa Indonesia, teks multimodal berarti teks yang memadukan tulisan dengan gambar atau grafik. Dalam dunia logistik, angkutan multimoda berarti pengiriman yang memakai lebih dari satu moda transportasi. Ketiganya berbagi arti dasar "lebih dari satu kanal", tetapi objek pembahasannya berbeda.
Kesimpulan
Multimodal AI adalah sistem yang mengolah beberapa jenis data sekaligus dalam satu alur pemahaman. Susunannya terdiri atas encoder untuk tiap modalitas, lapisan penghubung yang menyatukannya ke satu ruang makna, dan decoder yang menyusun jawaban. Kemampuan ini membuka pekerjaan yang sebelumnya mustahil, tetapi datang bersama biaya konteks yang lebih besar dan kemungkinan salah baca yang perlu Anda antisipasi.
Untuk pekerjaan yang seluruhnya berbentuk teks, model biasa masih memadai dan lebih hemat. Pilih model multimodal ketika informasi yang Anda butuhkan memang berada di dalam gambar, dokumen hasil pemindaian, atau rekaman suara. Biasakan pula memeriksa ulang angka penting yang dibacakan dari sebuah foto. Kalau Anda ingin memahami fondasi di baliknya lebih dahulu, tersedia pembahasan kecerdasan buatan yang menjadi dasar seluruh konsep ini.
Semoga artikel ini membantu.
