Cara menggunakan alat Pembuat Robots.txt
- Tentukan defaultIzinkan semua crawler (situs biasa) atau blokir semuanya (situs staging dan uji coba).
- Daftar yang diblokirTambahkan folder atau halaman yang tidak boleh masuk mesin pencari, dengan pengecualian opsional.
- Tambahkan sitemap dan aturan botMasukkan URL sitemap Anda, lalu centang crawler AI atau bot SEO yang ingin diblokir.
- Uji dan unduhCek URL dengan penguji, lalu unduh robots.txt dan unggah ke folder root situs Anda.
Fitur
- Blokir crawler AIAturan sekali klik untuk GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot, dan lainnya.
- Penguji URLLihat langsung apakah Googlebot atau crawler lain boleh mengambil sebuah URL, dan aturan mana yang menentukannya.
- Mendukung wildcardGunakan * untuk karakter apa pun dan $ untuk “berakhir dengan”, seperti yang didukung Google dan Bing.
- Hasil bisa dieditSesuaikan file yang dihasilkan secara manual; penguji memeriksa editan Anda secara langsung.
Apa itu robots.txt?
robots.txt adalah file teks kecil di akar situs Anda, misalnya https://www.example.com/robots.txt, yang memberi tahu crawler bagian mana dari situs yang boleh dikunjungi. Mesin pencari seperti Google dan Bing membacanya sebelum merayapi situs. File ini berguna untuk menjauhkan crawler dari area admin, hasil pencarian internal, keranjang belanja, dan kombinasi filter tanpa akhir yang menghabiskan crawl budget.
Sintaks robots.txt
| Baris | Artinya |
|---|---|
| User-agent: * | Aturan berikutnya berlaku untuk semua crawler |
| User-agent: GPTBot | Aturan berikutnya hanya berlaku untuk crawler OpenAI |
| Disallow: /admin/ | Jangan merayapi apa pun yang diawali /admin/ |
| Allow: /admin/bantuan/ | Pengecualian: folder ini boleh dirayapi |
| Disallow: /*?urut= | Blokir URL apa pun yang mengandung ?urut= |
| Disallow: /*.pdf$ | Blokir URL yang diakhiri .pdf |
| Sitemap: https://…/sitemap.xml | Lokasi sitemap XML Anda |
* didukung untuk urutan karakter apa pun dan $ untuk «diakhiri dengan», seperti di Google dan Bing. Pencocokan mengikuti standar resmi (RFC 9309): aturan yang paling panjang menang, dan jika seri, Allow yang menang. File yang dihasilkan bisa Anda edit secara manual.
Penguji URL
Sebelum mengunggah, ketik sebuah alamat di «Uji URL» dan pilih crawler-nya (Googlebot, Bingbot, GPTBot…). Anda langsung melihat apakah crawler itu boleh mengakses dan aturan mana yang menentukannya. Penguji memeriksa apa pun yang ada di kotak, jadi perubahan manual Anda juga langsung teruji.
Penting: robots.txt bukan alat keamanan
- Tidak menyembunyikan halaman: file ini publik, dan menyebut folder rahasia justru mengumumkannya. Lindungi area privat dengan password.
- Tidak menghapus halaman dari Google: URL yang diblokir tetap bisa muncul jika situs lain menautkannya. Untuk mengeluarkan halaman dari hasil pencarian, izinkan perayapan lalu tambahkan meta tag noindex (lihat Pembuat Meta Tag kami).
- Bot jahat mengabaikannya: crawler resmi mematuhi robots.txt; scraper dan malware biasanya tidak.
Memblokir crawler AI
Banyak perusahaan AI merayapi web untuk melatih model bahasa. Anda bisa menolak beberapa di antaranya lewat robots.txt: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (model AI Google; Google Penelusuran biasa tidak terpengaruh), CCBot (Common Crawl, dipakai banyak proyek AI), Applebot-Extended, PerplexityBot, Bytespider, dan meta-externalagent. Dengan «Blokir crawler AI», aturannya ditambahkan dalam satu klik tanpa memengaruhi peringkat Anda di Google maupun Bing. Crawler baru sering bermunculan, jadi periksa file ini sesekali.
Cara memasang robots.txt
- Unduh file. Namanya harus persis robots.txt, huruf kecil semua.
- Unggah ke folder akar situs, agar terbuka di domainanda.com/robots.txt atau domainanda.co.id/robots.txt. robots.txt di dalam subfolder diabaikan.
- Setiap subdomain (seperti toko.example.com) butuh filenya sendiri.
- Periksa di laporan robots.txt pada Google Search Console.
Belum punya sitemap? Buat dengan Pembuat Sitemap XML.