Robots.txt Adalah: Fungsi, Contoh & Cara Membuatnya

Setiap kali Anda menerbitkan halaman baru, ada program otomatis milik mesin pencari yang cepat atau lambat akan menemukannya. Program itu disebut crawler (perayap), dan cara kerjanya sederhana. Ia membuka satu halaman, mencatat seluruh tautan di dalamnya, lalu membuka tautan-tautan tersebut satu per satu.

Persoalannya, program itu tidak tahu bagian mana yang memang Anda siapkan untuk publik. Halaman hasil pencarian internal, folder administrasi, dan ratusan variasi alamat dari filter produk sama-sama terlihat seperti tautan biasa. Semuanya ikut dikunjungi.

Di sinilah berkas kecil ini mengambil peran. Robots.txt adalah berkas teks di akar sebuah situs yang berisi aturan tentang bagian mana yang boleh dan tidak boleh dikunjungi program otomatis. Ia bekerja seperti papan aturan di pintu masuk, dibaca lebih dulu sebelum tamu melangkah lebih jauh.

Robots.txt Adalah Papan Aturan di Pintu Masuk Website

Robots.txt adalah berkas teks polos yang memberi tahu perayap mesin pencari bagian mana dari sebuah situs yang boleh dan tidak boleh diakses. Isinya bukan kode program, hanya baris-baris perintah sederhana yang bisa Anda tulis dengan Notepad sekalipun.

Lokasi berkasnya tidak boleh sembarangan. Nama berkasnya wajib robots.txt dengan huruf kecil semua, dan posisinya harus di akar situs, bukan di dalam subfolder. Untuk situs https://contoh.com, satu-satunya alamat yang dibaca perayap adalah https://contoh.com/robots.txt. Berkas yang Anda taruh di https://contoh.com/blog/robots.txt diabaikan sepenuhnya.

Aturan di dalamnya juga hanya berlaku untuk kombinasi host, protokol, dan nomor port tempat berkas itu berada. Konsekuensinya sering mengejutkan pemilik situs: subdomain seperti blog.contoh.com terhitung host yang berbeda, sehingga ia membutuhkan robots.txt sendiri. Aturan di domain utama tidak menurun ke sana.

Kesepakatan ini sudah dipakai sejak 1994, tetapi statusnya lama tidak resmi. Baru pada September 2022 ia dibakukan menjadi RFC 9309 di jalur Standards Track (dokumen standar internet yang sudah disetujui). Sejak saat itu perilakunya punya rujukan tertulis yang sama untuk semua mesin pencari, bukan sekadar kebiasaan bersama.

Yang Diatur Robots.txt dan Yang Sama Sekali Tidak

Fungsi robots.txt adalah mengatur kunjungan, bukan mengatur penayangan. Beda dua kata itu terlihat sepele, tetapi hampir seluruh kekeliruan pemakaian robots.txt berakar di sana.

Tiga hal berikut adalah konsekuensi langsungnya.

1. Halaman yang diblokir tetap bisa muncul di Google: Google menyatakan isi halaman yang dilarang dirayapi memang tidak akan diindeks. Namun alamatnya masih bisa tampil di hasil pencarian tanpa cuplikan teks. Anda melarang Google membaca halaman, bukan melarangnya menyebut halaman.
2. Memblokir halaman justru menggagalkan noindex: perintah noindex hidup di dalam halaman, sebagai meta tag atau header HTTP. Kalau perayap dilarang membuka halaman tersebut, ia tidak pernah sampai ke barisnya. Dua perintah yang dimaksudkan saling menguatkan malah saling meniadakan.
3. Robots.txt bukan alat keamanan: RFC 9309 secara tegas menyebutnya bukan bentuk otorisasi akses. Berkas ini terbuka untuk siapa saja, sehingga menulis Disallow: /panel-internal/ sama dengan mengumumkan keberadaan folder tersebut kepada publik. Program yang tidak berniat baik juga tidak wajib mematuhinya.

Untuk menyembunyikan halaman dari publik, gunakan kata sandi direktori atau autentikasi di dalam aplikasi. Untuk mengeluarkan halaman dari hasil pencarian, gunakan noindex dan biarkan halamannya tetap boleh dirayapi.

Anatomi Satu Berkas Robots.txt

Isi robots.txt tersusun atas kelompok-kelompok aturan. Satu kelompok dimulai dengan baris User-agent yang menyebut perayap mana yang dituju, lalu diikuti baris perintah untuk perayap tersebut.

Berikut contoh robots.txt yang sudah memadai untuk mayoritas situs:

# Aturan untuk semua perayap
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=

Sitemap: https://contoh.com/sitemap.xml

Empat jenis baris yang perlu Anda kenali:

1. User-agent: nama program yang dituju. Tanda bintang berarti semua perayap yang tidak memiliki kelompok sendiri. Nama spesifik seperti Googlebot membentuk kelompok terpisah, dan setiap perayap selalu memilih kelompok yang menyebut namanya.
2. Disallow: awalan path yang tidak boleh dikunjungi. Nilai / berarti seluruh situs, sedangkan nilai kosong berarti tidak ada yang dilarang.
3. Allow: pengecualian di dalam wilayah yang sudah dilarang. Berguna untuk membuka satu berkas di dalam folder yang ditutup.
4. Sitemap: alamat lengkap sitemap Anda. Baris ini berdiri sendiri, tidak terikat kelompok mana pun, dan boleh ditulis lebih dari satu kali.

Baris yang diawali tanda pagar adalah komentar dan diabaikan perayap. Sebuah penyedia hosting bahkan mengisi robots.txt miliknya dengan gambar ASCII sepanjang ribuan karakter, seluruhnya berupa komentar, dan berkasnya tetap terbaca normal.

Contoh isi robots.txt: User-agent menunjuk perayap, Disallow melarang, Allow mengecualikan, Sitemap berdiri sendiri.

Dua bentuk paling ekstrem hanya berbeda satu karakter. Menutup seluruh situs memakai / sebagai nilai Disallow, sedangkan membuka seluruh situs memakai nilai yang dikosongkan:

# Menutup seluruh situs untuk semua perayap
User-agent: *
Disallow: /

# Membuka seluruh situs (Disallow dikosongkan)
User-agent: *
Disallow:

Bentuk pertama biasa dipakai situs yang masih dibangun, dan cukup sering tertinggal setelah situs diluncurkan. Kalau halaman Anda mendadak hilang dari Google, berkas inilah yang pertama perlu dibuka.

Cara Mesin Pencari Memilih Aturan yang Berlaku

Ketika dua baris bertabrakan, yang menang bukan yang ditulis paling atas. Yang menang adalah aturan dengan path terpanjang, karena dianggap paling spesifik.

Perhatikan pasangan berikut:

User-agent: *
Disallow: /produk/
Allow: /produk/sepatu/

Alamat /produk/tas/ diblokir. Alamat /produk/sepatu/lari.html justru diizinkan, karena path pada Allow lebih panjang daripada path pada Disallow. Urutan penulisan tidak berpengaruh sama sekali. Kalau panjang keduanya kebetulan sama, aturan yang lebih longgar yang dipakai.

Dua tanda khusus melengkapi mekanisme ini:

Pencocokan robots.txt: Allow /produk/sepatu/ 15 karakter mengalahkan Disallow /produk/ 8 karakter, urutan diabaikan.

1. Tanda bintang di tengah path: mewakili nol atau lebih karakter apa pun. Aturan Disallow: /*?warna= memblokir seluruh alamat yang mengandung parameter warna.
2. Tanda dolar di akhir path: menandai akhir alamat. Aturan Disallow: /*.pdf$ memblokir berkas berakhiran .pdf, tetapi membiarkan /panduan.pdf?unduh=1 lolos karena alamatnya tidak berakhir di situ.

Satu detail yang rutin memakan korban: nilai path bersifat peka huruf besar-kecil, sementara nama perintahnya tidak. Aturan Disallow: /Produk/ tidak akan menyentuh alamat /produk/ yang huruf awalnya kecil. Sebaliknya, menulis disallow seluruhnya dengan huruf kecil tetap sah.

Perintah yang Sudah Tidak Berlaku dan Batas Teknisnya

Sebagian contoh robots.txt yang beredar masih memuat perintah yang sudah tidak dibaca Google. Pada 1 September 2019 Google resmi berhenti menangani noindex, nofollow, dan crawl-delay di dalam robots.txt. Alasannya diumumkan terbuka: ketiganya tidak pernah didokumentasikan, dan pemakaiannya bertentangan dengan aturan lain pada semua berkas robots.txt di internet kecuali 0,001 persen.

Menariknya, Crawl-delay tidak mati di semua tempat. Bing masih menghormatinya, dengan definisi yang berbeda dari dugaan banyak orang. Angkanya bukan laju perayapan, melainkan panjang jendela waktu antara 1 sampai 30 detik, dan Bingbot hanya mengambil satu halaman per jendela. Menurut contoh resmi Bing, nilai Crawl-delay: 5 menghasilkan sekitar 17.280 halaman per hari.

Ada pula direktif Host: yang sesekali masih tersisa di berkas lama. Perintah itu hanya pernah dipahami Yandex untuk menunjuk domain utama di antara beberapa cermin situs, dan Yandex sendiri mencabut dukungannya pada Maret 2018. Menuliskannya hari ini tidak berdampak apa pun.

Selain soal perintah, ada lima angka yang menentukan perilaku robots.txt sehari-hari:

1. Batas 500 KiB: isi berkas di atas batas tersebut tidak diproses. Robots.txt yang wajar berukuran beberapa kilobyte, jadi batas ini praktis tidak pernah tercapai.
2. Cache 24 jam: Google umumnya menyimpan isi robots.txt sampai satu hari penuh. Perubahan yang Anda simpan tidak berlaku seketika.
3. Lima hop pengalihan: Google mengikuti paling sedikit lima pengalihan berantai, lalu berhenti dan memperlakukan berkasnya sebagai 404.
4. Balasan 4xx: dianggap seolah robots.txt tidak pernah ada, sehingga seluruh situs boleh dirayapi. Robots.txt yang hilang bukan bencana.
5. Balasan 5xx: inilah yang berbahaya. Dua belas jam pertama Google berhenti merayapi situs Anda. Tiga puluh hari berikutnya ia memakai versi cache terakhir, dan baru setelah itu berperilaku seolah berkasnya tidak ada.

Mengatur Perayap AI Lewat Robots.txt

Sejak 2023 muncul kategori pengunjung baru, yaitu program yang mengumpulkan halaman untuk melatih atau memberi bahan model kecerdasan buatan. Mereka membaca robots.txt dengan aturan yang persis sama, hanya dengan nama yang berbeda.

Yang penting dipahami, satu penyedia bisa menjalankan beberapa program dengan tujuan berlainan, dan memblokir semuanya belum tentu yang Anda inginkan. OpenAI memakai GPTBot untuk mengumpulkan bahan pelatihan model. Ada pula OAI-SearchBot supaya situs Anda dapat muncul di fitur pencarian ChatGPT, dan ChatGPT-User untuk permintaan yang dipicu langsung oleh pengguna. Anthropic membaginya dengan pola serupa lewat ClaudeBot untuk pelatihan, Claude-SearchBot untuk kualitas hasil pencarian, dan Claude-User untuk permintaan pengguna.

Menolak dipakai sebagai bahan pelatihan tetapi tetap ingin terlihat di jawaban berbasis pencarian berarti memblokir yang pertama saja:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

Cloudflare menambahkan lapisan lain pada 24 September 2025 lewat Content Signals Policy. Kebijakan itu memperkenalkan baris Content-Signal dengan tiga sinyal, yaitu search, ai-input, dan ai-train, yang masing-masing diisi yes atau no:

Content-Signal: search=yes, ai-train=no

Cloudflare menyalakannya pada lebih dari 3,8 juta domain yang memakai robots.txt terkelola miliknya. Perlu dicatat, baris tersebut menyatakan preferensi dan bukan penghalang teknis, sehingga efeknya bergantung pada kesediaan pihak lain mematuhi.

Kendali AI crawler di robots.txt: GPTBot untuk pelatihan, OAI-SearchBot untuk pencarian, Content-Signal untuk sikap.

Bagaimana dengan llms.txt yang belakangan ramai dibicarakan? Sampai artikel ini ditulis, berkas tersebut belum dipakai satu pun mesin pencari maupun penyedia AI besar. Selama keadaan itu belum berubah, robots.txt masih satu-satunya berkas yang benar-benar dibaca.

Kapan Website Anda Sebenarnya Tidak Membutuhkan Robots.txt

Robots.txt bersifat opsional. Situs tanpa berkas ini tidak dihukum apa pun, karena balasan 404 justru diartikan sebagai izin merayapi seluruh halaman. Untuk sebagian besar situs kecil, itu memang hasil yang diinginkan.

Sebagai ambang praktis: situs di bawah 500 halaman tanpa area anggota, keranjang belanja, maupun halaman hasil filter tidak terpengaruh ada atau tidaknya robots.txt. Prioritas SEO Anda ada di tempat lain, terutama pada tautan internal antarhalaman.

Berkas ini mulai berguna ketika salah satu dari tiga kondisi muncul. Pertama, ada ribuan variasi alamat dari filter dan pengurutan. Kedua, ada folder aplikasi yang tidak berguna di hasil pencarian. Ketiga, server Anda benar-benar terbebani kunjungan program otomatis.

Kondisi pertama punya namanya sendiri: crawl budget (jatah perayapan). Istilah itu berarti banyaknya halaman yang bersedia dirayapi mesin pencari pada satu situs dalam rentang waktu tertentu. Menutup ribuan alamat hasil filter membuat jatah tersebut jatuh ke halaman yang benar-benar Anda inginkan.

Sebaliknya, tiga pemakaian berikut justru merugikan:

1. Memblokir berkas CSS dan JavaScript: Google membutuhkan keduanya untuk melihat halaman seperti yang dilihat pengunjung. Memblokirnya membuat penilaian tampilan seluler menjadi meleset.
2. Memblokir halaman yang ingin dihilangkan dari Google: seperti dijelaskan sebelumnya, hasilnya justru berlawanan dengan tujuan Anda.
3. Memblokir alamat sitemap sendiri: sitemap tidak akan pernah terambil, dan Search Console melaporkannya sebagai galat.

Cara Membuat dan Memasang Robots.txt Sesuai Platform

Langkah #1: Tulis Berkasnya

Buka editor teks polos, misalnya Notepad di Windows, TextEdit dalam mode plain text di macOS, atau editor kode apa pun. Simpan dengan nama robots.txt dan pengodean UTF-8. Hindari pengolah kata seperti Microsoft Word, karena keluarannya bukan teks polos meskipun ekstensinya diubah.

Langkah #2: Unggah ke Direktori Root

Direktori root adalah folder yang isinya langsung tampil saat pengunjung membuka alamat utama situs Anda. Pada layanan web hosting berbasis cPanel, folder tersebut bernama public_html. Unggah berkasnya lewat File Manager atau klien FTP, lalu buka alamatnya di browser untuk memastikan isinya benar-benar tampil.

Langkah #3: Sesuaikan dengan Platform yang Anda Pakai

WordPress menyajikan robots.txt virtual selama tidak ada berkas fisik di root. Isi bawaannya hanya tiga baris:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Berkas itu tidak benar-benar ada di server; WordPress menyusunnya saat diminta. Begitu Anda mengunggah berkas fisik, berkas fisik itulah yang disajikan dan versi virtual berhenti dipakai. Plugin SEO umumnya menyunting versi virtual tersebut, sehingga memakai plugin dan berkas fisik sekaligus berpotensi membingungkan saat menelusuri masalah.

Robots.txt WordPress: tanpa berkas fisik yang tampil versi bawaan tiga baris; berkas di public_html mengalahkannya.

Blogger menyediakan kolom robots.txt khusus di menu setelan penelusuran, sedangkan situs berbasis framework modern biasanya menghasilkan berkasnya pada proses build. Pada dua kasus tersebut, mengunggah berkas manual tidak berpengaruh.

Hindari menyalin mentah keluaran generator robots.txt daring. Sebagian besar menambahkan daftar Disallow panjang untuk folder yang tidak ada di situs Anda, dan sebagian masih menyisipkan noindex yang sudah tidak berlaku sejak 2019.

Cara Memeriksa Robots.txt dan Membaca Pesan Search Console

Cara tercepat memeriksanya tidak membutuhkan alat apa pun. Ketik alamat situs Anda diikuti /robots.txt di browser. Kalau isinya muncul sebagai teks polos, berkas Anda terpasang benar. Kalau yang muncul halaman 404 atau justru desain situs Anda, berkasnya belum ada atau salah tempat.

Untuk pemeriksaan lebih dalam, Search Console menyediakan laporan robots.txt di bagian setelan. Laporan itu menampilkan berkas terakhir yang berhasil diambil Google untuk sampai 20 host teratas, waktu pengambilannya, serta galat penulisan yang ditemukan. Perlu diketahui, alat robots.txt Tester lama yang bisa menguji satu alamat sudah dipensiunkan pada Desember 2023, dan laporan penggantinya tidak memuat fitur tersebut.

Dua status di laporan Pengindeksan Halaman sering tertukar padahal tindakannya berlawanan:

1. "URL diblokir oleh robots.txt": Google patuh, halaman tidak dirayapi dan tidak muncul di hasil pencarian. Kalau halaman itu memang tidak penting, biarkan saja. Kalau seharusnya muncul, longgarkan aturannya.
2. "Diindeks, meskipun diblokir oleh robots.txt": alamatnya tetap muncul di hasil pencarian, hanya tanpa cuplikan. Ini pertanda perintah blokir Anda tidak menghasilkan efek yang diinginkan. Perbaikannya adalah menghapus aturan Disallow untuk halaman tersebut, lalu memasang noindex di halamannya.

Pertanyaan yang Sering Muncul Seputar Robots.txt

Apa bedanya robots.txt dengan sitemap, dan mana yang dibaca lebih dulu?

Robots.txt selalu dibaca lebih dulu. Ia menutup pintu ke bagian tertentu, sedangkan sitemap menyodorkan daftar alamat yang layak dikunjungi. Karena urutan itu, alamat sitemap yang tidak sengaja tertutup aturan Disallow tidak akan pernah terambil. Keduanya bertemu di baris Sitemap: yang boleh Anda tulis di dalam robots.txt.

Kapan memakai Disallow, noindex, atau X-Robots-Tag?

Ketiganya menyelesaikan masalah yang berbeda, dan memilih yang keliru adalah sebab paling umum sebuah halaman tidak berperilaku seperti harapan.

Apakah robots.txt memengaruhi peringkat di Google?

Tidak secara langsung. Google tidak memakai isi robots.txt sebagai faktor peringkat. Pengaruhnya berjalan memutar. Aturan yang terlalu longgar membuat jatah perayapan terbuang di halaman tak penting. Aturan yang terlalu ketat justru bisa menghapus halaman bagus dari hasil pencarian tanpa Anda sadari.

Apakah robots.txt bisa memblokir pengunjung manusia?

Tidak bisa. Berkas ini hanya berisi permintaan yang ditujukan kepada program otomatis, dan browser sama sekali tidak membacanya. Siapa pun tetap dapat membuka halaman yang Anda tulis di baris Disallow dengan mengetik alamatnya langsung.

Berapa lama perubahan robots.txt mulai berpengaruh?

Google umumnya menyimpan isi robots.txt sampai 24 jam, sehingga perubahan Anda bisa membutuhkan waktu sehari untuk terbaca. Anda dapat mempercepatnya dengan meminta pengambilan ulang lewat laporan robots.txt di Search Console.

Bisakah satu robots.txt dipakai untuk semua subdomain?

Tidak bisa. Aturan hanya berlaku pada host, protokol, dan port tempat berkas itu berada. Setiap subdomain membutuhkan berkasnya sendiri, dan secara teknis versi HTTP maupun HTTPS juga dihitung terpisah.

Kesimpulan

Robots.txt adalah berkas teks di akar situs yang mengatur ke mana program otomatis boleh berkunjung, bukan mengatur apa yang boleh tampil di hasil pencarian. Aturan yang berlaku selalu yang path-nya paling panjang, bukan yang ditulis paling awal, dan setiap host serta subdomain membutuhkan berkasnya masing-masing.

Untuk situs di bawah 500 halaman tanpa area anggota maupun halaman filter, Anda tidak perlu membuatnya sama sekali. Begitu variasi alamat bertambah atau Anda ingin menentukan sikap terhadap program pengumpul bahan AI, berkas beberapa baris ini menjadi tempat pertama untuk mengaturnya. Satu hal yang perlu diingat: kalau tujuan Anda menghilangkan sebuah halaman dari Google, alatnya bukan robots.txt melainkan noindex.

Semoga artikel ini membantu.