Pembuat Robots.txt

Buat file robots.txt yang valid dalam hitungan detik. Blokir folder privat, tambahkan sitemap, cegah crawler AI melatih model dengan konten Anda, dan uji URL apa pun terhadap aturan sebelum mengunggah.

  • Blokir crawler AI
  • Penguji URL bawaan
  • Mengikuti RFC 9309
Blokir crawler AI
Blokir bot lain
Anda bisa mengedit hasil secara langsung. Penguji di bawah memeriksa apa pun yang ada di kotak ini.
Uji URL

Cara menggunakan alat Pembuat Robots.txt

  1. Tentukan defaultIzinkan semua crawler (situs biasa) atau blokir semuanya (situs staging dan uji coba).
  2. Daftar yang diblokirTambahkan folder atau halaman yang tidak boleh masuk mesin pencari, dengan pengecualian opsional.
  3. Tambahkan sitemap dan aturan botMasukkan URL sitemap Anda, lalu centang crawler AI atau bot SEO yang ingin diblokir.
  4. Uji dan unduhCek URL dengan penguji, lalu unduh robots.txt dan unggah ke folder root situs Anda.

Fitur

  • Blokir crawler AIAturan sekali klik untuk GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot, dan lainnya.
  • Penguji URLLihat langsung apakah Googlebot atau crawler lain boleh mengambil sebuah URL, dan aturan mana yang menentukannya.
  • Mendukung wildcardGunakan * untuk karakter apa pun dan $ untuk “berakhir dengan”, seperti yang didukung Google dan Bing.
  • Hasil bisa dieditSesuaikan file yang dihasilkan secara manual; penguji memeriksa editan Anda secara langsung.

Apa itu robots.txt?

robots.txt adalah file teks kecil di akar situs Anda, misalnya https://www.example.com/robots.txt, yang memberi tahu crawler bagian mana dari situs yang boleh dikunjungi. Mesin pencari seperti Google dan Bing membacanya sebelum merayapi situs. File ini berguna untuk menjauhkan crawler dari area admin, hasil pencarian internal, keranjang belanja, dan kombinasi filter tanpa akhir yang menghabiskan crawl budget.

Sintaks robots.txt

BarisArtinya
User-agent: *Aturan berikutnya berlaku untuk semua crawler
User-agent: GPTBotAturan berikutnya hanya berlaku untuk crawler OpenAI
Disallow: /admin/Jangan merayapi apa pun yang diawali /admin/
Allow: /admin/bantuan/Pengecualian: folder ini boleh dirayapi
Disallow: /*?urut=Blokir URL apa pun yang mengandung ?urut=
Disallow: /*.pdf$Blokir URL yang diakhiri .pdf
Sitemap: https://…/sitemap.xmlLokasi sitemap XML Anda

* didukung untuk urutan karakter apa pun dan $ untuk «diakhiri dengan», seperti di Google dan Bing. Pencocokan mengikuti standar resmi (RFC 9309): aturan yang paling panjang menang, dan jika seri, Allow yang menang. File yang dihasilkan bisa Anda edit secara manual.

Penguji URL

Sebelum mengunggah, ketik sebuah alamat di «Uji URL» dan pilih crawler-nya (Googlebot, Bingbot, GPTBot…). Anda langsung melihat apakah crawler itu boleh mengakses dan aturan mana yang menentukannya. Penguji memeriksa apa pun yang ada di kotak, jadi perubahan manual Anda juga langsung teruji.

Penting: robots.txt bukan alat keamanan

  • Tidak menyembunyikan halaman: file ini publik, dan menyebut folder rahasia justru mengumumkannya. Lindungi area privat dengan password.
  • Tidak menghapus halaman dari Google: URL yang diblokir tetap bisa muncul jika situs lain menautkannya. Untuk mengeluarkan halaman dari hasil pencarian, izinkan perayapan lalu tambahkan meta tag noindex (lihat Pembuat Meta Tag kami).
  • Bot jahat mengabaikannya: crawler resmi mematuhi robots.txt; scraper dan malware biasanya tidak.

Memblokir crawler AI

Banyak perusahaan AI merayapi web untuk melatih model bahasa. Anda bisa menolak beberapa di antaranya lewat robots.txt: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (model AI Google; Google Penelusuran biasa tidak terpengaruh), CCBot (Common Crawl, dipakai banyak proyek AI), Applebot-Extended, PerplexityBot, Bytespider, dan meta-externalagent. Dengan «Blokir crawler AI», aturannya ditambahkan dalam satu klik tanpa memengaruhi peringkat Anda di Google maupun Bing. Crawler baru sering bermunculan, jadi periksa file ini sesekali.

Cara memasang robots.txt

  • Unduh file. Namanya harus persis robots.txt, huruf kecil semua.
  • Unggah ke folder akar situs, agar terbuka di domainanda.com/robots.txt atau domainanda.co.id/robots.txt. robots.txt di dalam subfolder diabaikan.
  • Setiap subdomain (seperti toko.example.com) butuh filenya sendiri.
  • Periksa di laporan robots.txt pada Google Search Console.

Belum punya sitemap? Buat dengan Pembuat Sitemap XML.

Pertanyaan umum

Di mana meletakkan robots.txt?
Di folder root situs agar tersedia di https://domainanda.com/robots.txt. File di subfolder diabaikan.
Bagaimana memblokir bot AI seperti GPTBot?
Centang crawler AI yang ingin diblokir. Pembuat ini menambahkan grup berisi user-agent mereka dan “Disallow: /”.
Apakah memblokir crawler AI merugikan peringkat Google saya?
Tidak. Google-Extended hanya mengatur penggunaan konten Anda untuk model AI Google; Googlebot, yang menjalankan Penelusuran, terpisah.
Di mana robots.txt dipasang?
Di folder akar situs, agar berada di https://domainanda.com/robots.txt. File di subfolder diabaikan.
Bagaimana cara memblokir bot AI seperti GPTBot?
Centang crawler AI yang ingin diblokir. Generator menambahkan grup berisi user-agent mereka dengan «Disallow: /».
Apakah memblokir crawler AI merugikan peringkat saya di Google?
Tidak. Google-Extended hanya mengatur pemakaian konten Anda untuk model AI Google; Googlebot, yang dipakai Penelusuran, terpisah.
Bisakah robots.txt menghapus halaman dari Google?
Tidak. Untuk mengeluarkan halaman dari hasil pencarian, gunakan meta tag noindex (dan izinkan perayapan). robots.txt hanya mengatur perayapan.
Apa arti «Disallow:» tanpa apa pun di belakangnya?
Disallow kosong berarti tidak ada yang diblokir: crawler boleh mengunjungi seluruh situs.