Percakapan panjang dengan asisten AI sering berakhir dengan cara yang sama. Di awal Anda memberi instruksi rinci soal gaya penulisan. Puluhan pesan kemudian, jawaban kembali ke gaya semula, seolah instruksi itu tidak pernah ada. Hal serupa terjadi saat dokumen panjang ditolak karena isinya terlalu besar untuk diproses.
Yang terjadi bukan lupa dalam arti manusia. Model bahasa tidak menyimpan percakapan Anda di suatu laci lalu gagal mengambilnya kembali. Ia hanya sanggup membaca sejumlah teks yang muat dalam satu batas kapasitas, dan batas itu punya nama sendiri.
Context Window Adalah? Pengertian dan Padanannya
Context window adalah batas jumlah teks yang bisa dibaca dan diproses sebuah model AI dalam satu permintaan. Padanan Indonesianya adalah jendela konteks, dan Anda akan menemukan istilah yang sama ditulis sebagai context window AI atau context window LLM. Semua yang ingin diperhitungkan model, mulai dari instruksi sistem, riwayat percakapan, lampiran yang Anda unggah, sampai jawaban yang ia tulis, harus muat di jendela yang sama.
Cara termudah membayangkannya adalah papan tulis berukuran tetap. Anda menulis pertanyaan di sana, model menulis jawabannya, lalu percakapan berlanjut ke bawah. Saat papan penuh, baris paling atas dihapus untuk memberi ruang bagi baris baru. Instruksi yang Anda tulis di awal percakapan bukan dilupakan, melainkan sudah tidak berada di papan saat model membaca ulang.
Ada tiga hal yang sering tertukar dengan jendela konteks. Pertama, ini bukan ingatan permanen: memulai percakapan baru berarti papan tulis dibersihkan total. Kedua, ini bukan pengetahuan hasil pelatihan, yang tersimpan di dalam bobot model dan tidak memakan ruang jendela sama sekali. Ketiga, ini bukan RAM komputer Anda, karena seluruh proses berlangsung di server penyedia layanan. Konsep ini berlaku untuk semua large language model, baik yang Anda pakai lewat aplikasi chat maupun lewat API.
Istilah Penting Seputar Context Window
Beberapa istilah berikut akan muncul berulang, jadi ada baiknya kita samakan dulu artinya.
- Token: satuan hitung teks yang dipakai model. Ukuran jendela selalu dinyatakan dalam token, tidak pernah dalam kata.
- Prompt: seluruh isi yang dikirim ke model dalam satu permintaan, termasuk riwayat percakapan sebelumnya, bukan hanya kalimat terakhir yang Anda ketik.
- Pemotongan konteks (truncation): tindakan membuang bagian terlama dari percakapan ketika jendela sudah penuh.
- Keluaran maksimum (max output): batas panjang jawaban yang boleh ditulis model dalam satu balasan. Batas ini mengambil jatah dari jendela yang sama.
- Prompt caching: penyimpanan sementara bagian prompt yang berulang, supaya bagian itu tidak dihitung dengan tarif penuh pada permintaan berikutnya.
Token Bukan Kata: Kenapa Teks Indonesia Lebih Boros
Model tidak menghitung kata, ia menghitung token. Sebelum diproses, teks dipecah oleh sebuah komponen bernama tokenizer menjadi keping-keping yang sudah dikenal model. Kata yang sering muncul mendapat satu token utuh, sementara kata yang jarang muncul dipecah menjadi beberapa keping.
Di sinilah bahasa Indonesia menanggung kerugian yang terukur. Kami mengukurnya sendiri dengan tiktoken memakai tokenizer o200k_base, atas lima pasang artikel Wikipedia teknis dalam dua bahasa: 34.198 kata Inggris dan 19.745 kata Indonesia.
Hasilnya, teks Inggris membutuhkan 1,263 token per kata, sementara teks Indonesia membutuhkan 1,669 token per kata. Selisihnya 32,1% lebih boros. Lima artikel blog kami sendiri memberi 1,630, jadi rentang 1,63 sampai 1,67 aman dipakai sebagai patokan.
Penyebabnya terlihat jelas begitu kita bongkar satu per satu kata. Imbuhan panjang khas bahasa Indonesia justru yang paling mahal:
| Kata | Jumlah token | Pecahannya |
|---|---|---|
| memperhitungkan | 4 | memper + h + itung + kan |
| ketidakpastian | 4 | ket + idak + p + astian |
| keberlanjutan | 4 | keber + lan + j + utan |
| calculate | 1 | calculate |
| uncertainty | 1 | uncertainty |
| sustainability | 1 | sustainability |
Konsekuensinya langsung terasa pada kapasitas. Jendela satu juta token menampung sekitar 791.766 kata Inggris, tetapi hanya sekitar 599.161 kata Indonesia. Selisihnya 24,3% lebih sedikit untuk jendela yang persis sama besarnya. Dengan patokan 500 kata per halaman A4, satu juta token setara sekitar 1.198 halaman teks Indonesia.
Kata memperhitungkan pecah jadi empat token: memper, h, itung, kan; padanan Inggris calculate cukup satu token.
Kabar baiknya, tokenizer terus diperbaiki. Teks Indonesia yang sama membutuhkan 2,071 token per kata pada
cl100k_base, tokenizer generasi GPT-3.5 dan GPT-4, lalu turun ke 1,669 padao200k_base. Penghematannya mencapai 19,4%, jauh lebih besar daripada penghematan untuk teks Inggris yang hanya 0,4%.
Berapa Besar Context Window Model AI Saat Ini
Di lembar spesifikasi, angka ini biasanya tertulis sebagai context window size. Berikut ukurannya pada model yang banyak dipakai, diambil dari dokumentasi resmi masing-masing penyedia per Agustus 2026. Kolom kanan adalah konversi memakai patokan 1,669 token per kata di atas dan 500 kata per halaman A4.
| Model | Context window (token) | Setara (halaman) |
|---|---|---|
| GPT-5.5 | 1.050.000 | ±1.258 |
| Gemini 3.1 Pro | 1.048.576 | ±1.257 |
| Claude Opus 5, Sonnet 5 | 1.000.000 | ±1.198 |
| Grok 4.3 | 1.000.000 | ±1.198 |
| DeepSeek V4 | 1.000.000 | ±1.198 |
| GLM-5.2 | 1.000.000 | ±1.198 |
| Kimi K3 | 1.000.000 | ±1.198 |
| Grok 4.6 | 500.000 | ±599 |
| grok-build-0.1 | 256.000 | ±307 |
| Claude Haiku 4.5 | 200.000 | ±240 |
| Sahabat-AI | 8.192 | ±10 |
DeepSeek V4, GLM-5.2, dan Kimi K3 adalah model berbobot terbuka yang bisa diunduh dan dijalankan sendiri, jadi angka satu juta token bukan lagi milik segelintir penyedia besar. Baris terakhir sengaja kami sertakan sebagai pembanding: Sahabat-AI, model bahasa Indonesia yang dikembangkan GoTo bersama Indosat Ooredoo Hutchison, memakai jendela 8.192 token. Angka itu 122 kali lebih kecil daripada satu juta token, atau kira-kira sepuluh halaman teks Indonesia. Model berjendela kecil tetap berguna untuk percakapan pendek dan tugas terfokus, karena pemakaian sehari-hari jarang menyentuh angka ratusan ribu token.
Perlu diperhatikan, angka di tabel ini adalah angka API. Jendela di aplikasi chat biasanya lebih kecil, berbeda antar paket langganan, dan bisa berubah tanpa pengumuman. Jadikan angka resmi sebagai batas atas, bukan jaminan.
Yang Mengisi Jendela dan Apa yang Terjadi Saat Penuh
Sebagian besar isi jendela bukan tulisan Anda. Sebelum pertanyaan Anda sampai ke model, ruang itu sudah terpakai.
- Instruksi sistem: aturan perilaku yang dipasang penyedia layanan, tidak terlihat di layar tetapi selalu ikut dikirim.
- Definisi tool yang tersambung: setiap alat bantu yang bisa dipanggil model harus dijelaskan lebih dulu. Menurut dokumentasi Anthropic, satu perangkat tool dasar memakan 286 sampai 474 token, sementara paket tool untuk mengendalikan browser mencapai sekitar 6.600 token. Standar seperti MCP mempermudah menambah tool, tetapi setiap tambahan memakan jatah.
- Seluruh riwayat percakapan: setiap pesan Anda dan setiap jawaban model dikirim ulang pada setiap giliran.
- Lampiran: dokumentasi Anthropic memberi patokan kasar bahwa halaman web biasa berukuran 10 kB setara sekitar 2.500 token, sedangkan berkas PDF makalah 500 kB setara sekitar 125.000 token.
- Jatah keluaran: jawaban yang akan ditulis model juga menempati jendela yang sama.
Poin terakhir berdampak paling besar. Claude Sonnet 5 boleh menulis sampai 128.000 token, yang berarti 12,8% jendelanya sudah dipesan untuk jawaban. Pada Gemini 3.1 Pro porsinya 6,1%, sementara pada Claude Haiku 4.5 yang jendelanya 200.000 token, jatah keluaran 64.000 token memakan 32% ruang.
Isi satu jendela konteks: instruksi sistem, definisi tool, riwayat, lampiran, pertanyaan, dan jatah keluaran 12,8%.
Saat semuanya tidak lagi muat, tiga hal bisa terjadi. Permintaan ditolak dengan pesan kesalahan, bagian terlama dari percakapan dipotong diam-diam, atau layanan meringkas percakapan lama lalu memakai ringkasan itu sebagai pengganti. Dua kemungkinan terakhir inilah yang membuat jawaban terasa melenceng setelah percakapan panjang. Model bukan sedang menurun kualitasnya, melainkan sedang menjawab berdasarkan potongan yang tersisa, dan celah informasi seperti ini termasuk pemicu halusinasi AI. Pemakai jatah paling boros adalah AI agent, karena setiap langkah kerja beserta hasil pemanggilan tool ikut menumpuk di jendela yang sama.
Jendela Besar Belum Tentu Membuat Jawaban Lebih Baik
Naluri pertama saat mendengar angka satu juta token biasanya sama: unggah saja semuanya. Beberapa penelitian menunjukkan hasil yang berlawanan.
Liu dan rekan-rekannya pada 2023 menguji bagaimana model memakai konteks panjang, dan menemukan pola berbentuk huruf U. Akurasi paling tinggi ketika informasi penting berada di awal atau di akhir konteks, lalu turun tajam ketika informasi itu diletakkan di tengah. Pola ini muncul bahkan pada model yang secara khusus dirancang untuk konteks panjang.
Akurasi jawaban tinggi saat informasi di awal dan akhir konteks, lalu jatuh ke titik terendah di bagian tengah.
Pengujian NoLiMa pada 2025 memberi angka yang lebih tegas. Tiga belas model yang mengklaim mendukung konteks minimal 128.000 token diuji dengan pertanyaan yang sengaja tidak memakai kata yang sama dengan jawabannya. Pada panjang 32.000 token saja, 11 dari 13 model turun di bawah 50% dari nilai dasar mereka pada konteks pendek. GPT-4o yang termasuk paling tangguh pun merosot dari 99,3% menjadi 69,7%.
Temuan Chroma pada tahun yang sama melengkapinya dari sisi lain. Dari 18 model yang diuji, performa menurun konsisten seiring bertambah panjangnya masukan, dan penurunan itu sudah terjadi jauh sebelum jendela penuh. Penyebabnya berakar pada cara kerja attention, mekanisme yang menimbang hubungan antar kata dan menjadi inti arsitektur transformer. Semakin panjang teks, semakin banyak pasangan hubungan yang harus ditimbang, dan perhatian model semakin encer.
Kesimpulan praktisnya jelas. Memberi sepuluh halaman yang benar-benar relevan hampir selalu mengalahkan mengunggah lima ratus halaman yang sebagian besar tidak terpakai. Inilah alasan pendekatan mencari dokumen relevan lebih dulu, yang dikenal sebagai RAG, tetap banyak dipakai meski jendela sudah menyentuh angka satu juta.
Ambang Harga di Atas 200 Ribu Token
Bagi Anda yang memakai model lewat API, tarif per token tidak selalu rata sepanjang jendela.
Google menaikkan tarif masukan Gemini 3.1 Pro dari $2,00 menjadi $4,00 per satu juta token begitu prompt melewati 200.000 token. OpenAI memakai ambang yang sedikit berbeda: prompt di atas 272.000 token pada GPT-5.5 dikenai dua kali tarif masukan dan satu setengah kali tarif keluaran, berlaku untuk keseluruhan sesi. xAI juga memasang tarif bertingkat dengan ambang 200.000 token. Anthropic menjadi pengecualian, dengan tarif rata sampai satu juta token penuh.
Selisihnya nyata. Permintaan berisi 500.000 token masukan, kira-kira 600 halaman teks Indonesia, dikenai biaya sekitar $5,00 pada GPT-5.5 karena sudah melewati ambang. Permintaan dengan isi yang sama pada Claude Sonnet 5 dengan tarif $2 per satu juta token menghabiskan sekitar $1,00.
Tarif masukan berlipat di atas ambang: 200.000 token di Gemini, 272.000 di GPT-5.5; Claude Sonnet 5 rata $2,00.
Penawarnya tersedia. Prompt caching membuat bagian prompt yang berulang, misalnya dokumen rujukan yang sama pada puluhan permintaan, dihitung jauh lebih murah: pada Anthropic hanya 0,1 kali tarif masukan biasa.
Cara Menghemat Context Window Saat Memakai AI
Enam langkah berikut bisa langsung Anda pakai, baik lewat aplikasi chat maupun lewat API.
- Mulai percakapan baru untuk topik baru: melanjutkan di percakapan lama berarti seluruh riwayat yang tidak relevan ikut dikirim ulang pada setiap giliran.
- Unggah bagian yang relevan, bukan seluruh berkas: satu bab dari laporan hampir selalu cukup, dan sepuluh halaman terpilih mengalahkan lima ratus halaman utuh.
- Taruh instruksi penting di awal dan ulangi di akhir prompt: kedua posisi itulah yang paling diperhatikan model, sesuai kurva U tadi.
- Minta ringkasan sebelum percakapan terlalu panjang: mintalah model merangkum keputusan penting sejauh ini, lalu buka percakapan baru dengan ringkasan itu sebagai pembuka.
- Tulis prompt yang padat: basa-basi dan pengulangan ikut dihitung sebagai token. Panduan menyusun prompt AI yang efektif membantu memangkasnya tanpa kehilangan kejelasan.
- Untuk kebutuhan berulang, pertimbangkan cara lain: bila dokumen yang sama dipakai terus-menerus, pencarian dokumen lebih dulu atau fine tuning lebih hemat daripada menjejalkannya setiap kali.
Kelemahan dan Hal yang Perlu Anda Pertimbangkan
Jendela konteks yang besar membawa beberapa konsekuensi yang perlu Anda timbang.
- Akurasi menurun sebelum jendela penuh: seperti terlihat pada angka NoLiMa dan Chroma, kapasitas yang tertulis bukan kapasitas yang bisa diandalkan sepenuhnya.
- Biaya dan waktu tunggu naik bersamaan: masukan yang panjang membuat jawaban lebih lambat muncul, dan pada sebagian penyedia tarifnya berlipat setelah melewati ambang tertentu.
- Angka antar model tidak setara: Claude 4.7 ke atas memakai tokenizer baru yang menghasilkan sekitar 30% lebih banyak token untuk teks yang sama. Akibatnya satu juta token kini menampung sekitar 555.000 kata Inggris, turun dari sekitar 750.000 kata pada model sebelumnya, meski angka jendelanya tidak berubah.
- Teks Indonesia menanggung kerugian tambahan: selisih 24,3% dibanding teks Inggris berarti setiap perkiraan kapasitas yang Anda baca dalam satuan kata perlu dikoreksi ke bawah.
- Menjalankan model sendiri berarti menanggung biaya jendelanya: jendela konteks memakan RAM di luar kebutuhan bobot model. Saat memakai Ollama, memperbesar jendela dapat membuat model yang tadinya lancar menjadi tersendat. Konteks panjang karenanya lebih nyaman dijalankan di VPS Indonesia dengan RAM memadai daripada di laptop harian.
Pertanyaan yang Sering Diajukan
Apa itu context window AI?
Context window adalah batas jumlah teks, dihitung dalam token, yang bisa dibaca dan diproses model AI dalam satu permintaan. Batas ini mencakup instruksi sistem, riwayat percakapan, lampiran, pertanyaan Anda, sekaligus jawaban yang akan ditulis model. Di luar batas itu, teks tidak ikut diperhitungkan.
Apa bedanya context window dan fitur memori AI?
Context window hilang begitu Anda memulai percakapan baru. Fitur memori bekerja di luar jendela: layanan menyimpan catatan tentang Anda di tempat terpisah, lalu menyisipkannya kembali ke awal percakapan berikutnya. Catatan yang disisipkan itu tetap memakan jatah jendela seperti teks lainnya.
Berapa context window ChatGPT, Gemini, dan Claude?
Per Agustus 2026, angka resmi di sisi API adalah 1.050.000 token untuk GPT-5.5 dan 1.048.576 token untuk Gemini 3.1 Pro. Context window Claude Opus 5 dan Sonnet 5 sama-sama 1.000.000 token. Jendela di aplikasi chat umumnya lebih kecil dan berbeda antar paket, jadi periksa halaman resmi penyedia untuk akun Anda.
Apakah context window yang lebih besar selalu lebih baik?
Tidak selalu. Pada pengujian NoLiMa, 11 dari 13 model turun di bawah 50% nilai dasar mereka hanya pada panjang 32.000 token, jauh di bawah kapasitas yang mereka klaim. Jendela besar berguna ketika Anda memang perlu memproses dokumen panjang sekaligus, tetapi memilih bagian yang relevan hampir selalu memberi jawaban yang lebih tepat.
Berapa kata bahasa Indonesia yang muat dalam satu juta token?
Berdasarkan pengukuran kami dengan tokenizer o200k_base, satu juta token menampung sekitar 599.161 kata bahasa Indonesia, atau kira-kira 1.198 halaman A4. Untuk teks berbahasa Inggris, jendela yang sama menampung sekitar 791.766 kata.
Bagaimana cara mengetahui jumlah token sebuah teks?
Penyedia besar menyediakan alat hitungnya sendiri. Anthropic punya endpoint count_tokens yang gratis dipakai dan tidak menagih biaya token, sedangkan pustaka tiktoken menghitung token model OpenAI langsung di komputer Anda. Untuk perkiraan cepat teks Indonesia, kalikan saja jumlah katanya dengan 1,67.
Bisakah ukuran context window diatur sendiri?
Di aplikasi chat, tidak. Namun saat Anda menjalankan model sendiri, ukuran jendela justru menjadi parameter yang Anda tentukan. Ollama memakai num_ctx dengan nilai bawaan hanya 2.048 token. Artinya model berkapasitas 128.000 token akan tetap terpotong di 2.048 token sampai nilai itu Anda naikkan.
Kesimpulan
Context window adalah batas kapasitas sekali baca, bukan ingatan. Ia diisi bersama-sama oleh instruksi sistem, definisi tool, seluruh riwayat percakapan, lampiran, dan jatah jawaban, sehingga terisi jauh lebih cepat daripada yang terlihat di layar. Angka pada lembar spesifikasi juga bukan angka yang benar-benar Anda pakai. Tokenizer menentukan berapa kata yang muat, dan teks Indonesia menempati sekitar 24% lebih banyak ruang dibanding teks Inggris.
Jendela besar paling menolong saat Anda memang harus memproses dokumen panjang dalam satu tarikan. Di luar itu, memilih sepuluh halaman yang relevan lebih murah, lebih cepat, dan berdasarkan pengujian yang ada, lebih akurat daripada mengunggah lima ratus halaman sekaligus. Semoga artikel ini membantu.
