Robots.txt Oluşturucu

Saniyeler içinde geçerli bir robots.txt dosyası oluşturun. Özel klasörleri engelleyin, site haritanızı ekleyin, yapay zekâ tarayıcılarının içeriğinizle eğitilmesini durdurun ve yüklemeden önce herhangi bir URL'yi kurallara göre test edin.

  • Yapay zekâ tarayıcılarını engeller
  • Yerleşik URL test aracı
  • RFC 9309'a uygun
Yapay zekâ tarayıcılarını engelle
Diğer botları engelle
Sonucu doğrudan düzenleyebilirsiniz. Aşağıdaki test aracı bu kutudakileri kontrol eder.
Bir URL'yi test et

Robots.txt Oluşturucu aracı nasıl kullanılır

  1. Varsayılanı belirleyinTüm tarayıcılara izin verin (normal siteler) veya her şeyi engelleyin (hazırlık ve test siteleri).
  2. Neyin engelleneceğini listeleyinArama motorlarından uzak tutulacak klasörleri veya sayfaları isteğe bağlı istisnalarla ekleyin.
  3. Site haritaları ve bot kuralları ekleyinSite haritası URL'nizi girin ve engellemek istediğiniz yapay zekâ tarayıcılarını veya SEO botlarını işaretleyin.
  4. Test edin ve indirinURL'leri test aracıyla kontrol edin, ardından robots.txt'yi indirip sitenizin kök klasörüne yükleyin.

Özellikler

  • Yapay zekâ tarayıcı engellemeGPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot ve daha fazlası için tek tıkla kurallar.
  • URL test aracıGooglebot'un veya başka bir tarayıcının bir URL'yi alıp alamayacağını ve bunu hangi kuralın belirlediğini anında görün.
  • Joker karakter desteğiGoogle ve Bing'in desteklediği gibi her karakter için *, “ile biter” için $ kullanın.
  • Düzenlenebilir çıktıOluşturulan dosyayı elle ince ayarlayın; test aracı düzenlemelerinizi canlı kontrol eder.

Sık sorulan sorular

robots.txt'yi nereye koyarım?
Web sitenizin kök klasörüne; böylece https://alanadiniz.com/robots.txt adresinde erişilebilir olur. Alt klasörlerdeki dosyalar yok sayılır.
GPTBot gibi yapay zekâ botlarını nasıl engellerim?
Engellemek istediğiniz yapay zekâ tarayıcılarını işaretleyin. Oluşturucu, user-agent'larını ve “Disallow: /” içeren bir grup ekler.
Yapay zekâ tarayıcılarını engellemek Google sıralamamı etkiler mi?
Hayır. Google-Extended yalnızca içeriğinizin Google'ın yapay zekâ modelleri için kullanımını kontrol eder; Arama'yı çalıştıran Googlebot ayrıdır.