Robots.txt Oluşturucu aracı nasıl kullanılır
- Varsayılanı belirleyinTüm tarayıcılara izin verin (normal siteler) veya her şeyi engelleyin (hazırlık ve test siteleri).
- Neyin engelleneceğini listeleyinArama motorlarından uzak tutulacak klasörleri veya sayfaları isteğe bağlı istisnalarla ekleyin.
- Site haritaları ve bot kuralları ekleyinSite haritası URL'nizi girin ve engellemek istediğiniz yapay zekâ tarayıcılarını veya SEO botlarını işaretleyin.
- Test edin ve indirinURL'leri test aracıyla kontrol edin, ardından robots.txt'yi indirip sitenizin kök klasörüne yükleyin.
Özellikler
- Yapay zekâ tarayıcı engellemeGPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot ve daha fazlası için tek tıkla kurallar.
- URL test aracıGooglebot'un veya başka bir tarayıcının bir URL'yi alıp alamayacağını ve bunu hangi kuralın belirlediğini anında görün.
- Joker karakter desteğiGoogle ve Bing'in desteklediği gibi her karakter için *, “ile biter” için $ kullanın.
- Düzenlenebilir çıktıOluşturulan dosyayı elle ince ayarlayın; test aracı düzenlemelerinizi canlı kontrol eder.
Sık sorulan sorular
robots.txt'yi nereye koyarım?+
Web sitenizin kök klasörüne; böylece https://alanadiniz.com/robots.txt adresinde erişilebilir olur. Alt klasörlerdeki dosyalar yok sayılır.
GPTBot gibi yapay zekâ botlarını nasıl engellerim?+
Engellemek istediğiniz yapay zekâ tarayıcılarını işaretleyin. Oluşturucu, user-agent'larını ve “Disallow: /” içeren bir grup ekler.
Yapay zekâ tarayıcılarını engellemek Google sıralamamı etkiler mi?+
Hayır. Google-Extended yalnızca içeriğinizin Google'ın yapay zekâ modelleri için kullanımını kontrol eder; Arama'yı çalıştıran Googlebot ayrıdır.