Генератор robots.txt

Создайте корректный файл robots.txt за секунды. Закройте приватные папки, добавьте карту сайта, запретите ИИ-роботам обучаться на вашем контенте и проверьте любой URL по правилам до загрузки.

  • Блокировка ИИ-роботов
  • Встроенный тестер URL
  • По стандарту RFC 9309
Блокировать ИИ-роботов
Блокировать других ботов
Результат можно редактировать прямо здесь. Тестер ниже проверяет содержимое этого поля.
Проверить URL

Как пользоваться инструментом «Генератор robots.txt»

  1. Задайте правило по умолчаниюРазрешите всех роботов (обычные сайты) или запретите всё (тестовые и staging-сайты).
  2. Укажите, что закрытьДобавьте папки или страницы, которые не должны попадать в поиск, с необязательными исключениями.
  3. Добавьте карты сайта и правила для ботовУкажите URL карты сайта и отметьте ИИ-роботов или SEO-ботов, которых нужно заблокировать.
  4. Проверьте и скачайтеПроверьте URL тестером, затем скачайте robots.txt и загрузите его в корневую папку сайта.

Возможности

  • Блокировка ИИ-роботовПравила в один клик для GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot и других.
  • Тестер URLСразу видно, может ли Googlebot или другой робот загрузить URL и какое правило это определяет.
  • Подстановочные знакиИспользуйте * для любых символов и $ для «заканчивается на», как поддерживают Google и Bing.
  • Редактируемый результатПравьте созданный файл вручную — тестер проверяет изменения на лету.

Частые вопросы

Куда положить robots.txt?
В корневую папку сайта, чтобы файл был доступен по адресу https://вашдомен.ru/robots.txt. Файлы в подпапках игнорируются.
Как заблокировать ИИ-ботов вроде GPTBot?
Отметьте ИИ-роботов, которых хотите заблокировать. Генератор добавит группу с их user-agent и «Disallow: /».
Навредит ли блокировка ИИ-роботов позициям в Google?
Нет. Google-Extended управляет только использованием вашего контента для ИИ-моделей Google; Googlebot, на котором работает Поиск, — отдельный робот.