Как пользоваться инструментом «Генератор robots.txt»
- Задайте правило по умолчаниюРазрешите всех роботов (обычные сайты) или запретите всё (тестовые и staging-сайты).
- Укажите, что закрытьДобавьте папки или страницы, которые не должны попадать в поиск, с необязательными исключениями.
- Добавьте карты сайта и правила для ботовУкажите URL карты сайта и отметьте ИИ-роботов или SEO-ботов, которых нужно заблокировать.
- Проверьте и скачайтеПроверьте URL тестером, затем скачайте robots.txt и загрузите его в корневую папку сайта.
Возможности
- Блокировка ИИ-роботовПравила в один клик для GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot и других.
- Тестер URLСразу видно, может ли Googlebot или другой робот загрузить URL и какое правило это определяет.
- Подстановочные знакиИспользуйте * для любых символов и $ для «заканчивается на», как поддерживают Google и Bing.
- Редактируемый результатПравьте созданный файл вручную — тестер проверяет изменения на лету.
Частые вопросы
Куда положить robots.txt?+
В корневую папку сайта, чтобы файл был доступен по адресу https://вашдомен.ru/robots.txt. Файлы в подпапках игнорируются.
Как заблокировать ИИ-ботов вроде GPTBot?+
Отметьте ИИ-роботов, которых хотите заблокировать. Генератор добавит группу с их user-agent и «Disallow: /».
Навредит ли блокировка ИИ-роботов позициям в Google?+
Нет. Google-Extended управляет только использованием вашего контента для ИИ-моделей Google; Googlebot, на котором работает Поиск, — отдельный робот.