Файл robots.txt теперь контролирует не только индексацию поисковиками, но и доступ ИИ-ботов к вашему контенту для обучения моделей. С помощью новых директив можно запретить ChatGPT, Claude и другим системам использовать тексты сайта, сохранив при этом видимость в поисковой выдаче и генеративном поиске.
Что такое robots.txt и как он работает для поисковых систем
Robots.txt — это текстовый файл в корне сайта, который сообщает поисковым роботам и ИИ-ботам, какие страницы можно сканировать, а какие нельзя. Файл работает по принципу рекомендаций: большинство добросовестных ботов соблюдают директивы, но технически любой робот может их проигнорировать.
Классические директивы для SEO включают User-agent (указывает, к какому боту применяется правило), Disallow (запрещает доступ к URL) и Allow (разрешает доступ к конкретным разделам внутри запрещённой области). Например, строка «Disallow: /admin/» закрывает от индексации административную панель, а «Allow: /admin/public/» открывает публичный раздел внутри неё.
Поисковые системы используют robots.txt для оптимизации краулингового бюджета — количества страниц, которые робот просматривает за визит. Правильная настройка помогает направить ботов на важные страницы и исключить дубли, технические разделы или страницы с конфиденциальной информацией из индексации.
Новые директивы robots.txt для контроля ИИ-ботов
В последние пару лет крупные компании, разрабатывающие языковые модели, представили специальные User-agent для своих ботов, которые собирают данные для обучения ИИ. OpenAI использует GPTBot, Anthropic — ClaudeBot, Google — Google-Extended для обучения моделей вне основного поиска.
Чтобы заблокировать GPTBot от OpenAI, добавьте в robots.txt блок:
User-agent: GPTBotDisallow: /
Для защиты от сбора данных несколькими ИИ-системами используйте отдельные блоки для каждого бота:
- GPTBot — бот OpenAI для обучения ChatGPT и других моделей компании
- Google-Extended — бот Google для обучения Gemini и генеративных продуктов, отдельный от основного Googlebot
- ClaudeBot — бот Anthropic для сбора данных под модель Claude
- CCBot — бот Common Crawl, данные которого используют многие исследователи и компании для обучения моделей
- anthropic-ai — дополнительный User-agent Anthropic для специфических задач
Важно: блокировка ИИ-ботов не влияет на индексацию в поисковых системах. Googlebot и Google-Extended — разные роботы, и запрет для второго не скроет сайт из обычной выдачи Google.
Как защитить контент от использования в обучении ИИ
Защита контента от обучения ИИ строится на блокировке специализированных ботов через robots.txt, но это не единственный метод. Файл robots.txt работает только для ботов, которые его соблюдают, поэтому комплексная стратегия включает несколько уровней.
Для базовой защиты создайте или отредактируйте файл robots.txt в корневой директории сайта (example.com/robots.txt) и добавьте блоки для всех известных ИИ-ботов:
User-agent: GPTBotDisallow: /User-agent: Google-ExtendedDisallow: /User-agent: ClaudeBotDisallow: /User-agent: CCBotDisallow: /
Дополнительные методы защиты контента включают:
- Мета-тег noai — некоторые разработчики предлагают использовать <meta name="robots" content="noai"> в HTML страниц, хотя поддержка этого тега пока не стандартизирована
- Технические ограничения — rate limiting (ограничение частоты запросов), CAPTCHA для подозрительных ботов, анализ User-agent в логах сервера
- Закрытие контента авторизацией — размещение ценных материалов за регистрацией или подпиской, что физически блокирует доступ ботам
- Юридические меры — публикация условий использования (Terms of Service), явно запрещающих сбор данных для обучения ИИ
Учитывайте, что некоторые боты могут не идентифицировать себя честно или использовать User-agent обычных браузеров. Полная защита требует мониторинга трафика и анализа поведения посетителей через систему веб-аналитики.
Влияние robots.txt на SEO и видимость в генеративном поиске
Блокировка ИИ-ботов через robots.txt не вредит традиционному SEO, если правильно разделять директивы для поисковых и обучающих роботов. Googlebot, Yandex Bot и другие поисковые краулеры продолжат индексировать сайт, пока для них не установлен Disallow.
Генеративный поиск — это функции типа AI Overviews в Google или Яндекс Нейро, которые формируют ответы на основе проиндексированных страниц. Если вы блокируете Google-Extended, сайт остаётся в обычной выдаче Google, но может реже попадать в генеративные ответы, которые обучаются на расширенном датасете.
Ключевые моменты влияния на SEO:
- Disallow для Googlebot полностью исключает страницы из индекса Google, они не появятся ни в обычной выдаче, ни в AI Overviews
- Disallow для Google-Extended ограничивает использование контента для обучения новых версий Gemini, но не влияет на текущую индексацию и ранжирование
- Блокировка GPTBot не влияет на Google или Яндекс, так как это бот OpenAI, не связанный с поисковыми системами
- Краулинговый бюджет может улучшиться, если вы закроете от всех ботов технические страницы (фильтры, сортировки, служебные URL)
Для сайтов, которые монетизируют трафик через рекламу или продажи, важно взвесить риски. Полная блокировка ИИ-ботов защищает контент, но может снизить узнаваемость бренда, если конкуренты останутся в генеративных ответах и получат дополнительную видимость.
Пошаговая инструкция по настройке robots.txt для бизнеса
Настройка robots.txt для управления доступом ИИ-ботов и поисковых систем занимает 15-30 минут и требует доступа к корневой директории сайта через FTP, хостинг-панель или CMS.
Шаг 1: Проверьте текущий файл robots.txt
Откройте в браузере адрес вашсайт.ru/robots.txt. Если файл существует, скопируйте его содержимое в текстовый редактор для резервной копии. Если файла нет (ошибка 404), создайте новый текстовый документ с именем robots.txt.
Шаг 2: Добавьте директивы для поисковых систем
Убедитесь, что основные поисковые боты имеют доступ к важным разделам. Базовая структура для всех поисковиков:
User-agent: *Disallow: /admin/Disallow: /cgi-bin/Disallow: /tmp/Allow: /
Эта конфигурация разрешает всем ботам сканировать сайт, кроме служебных директорий. Символ «*» означает «все User-agent».
Шаг 3: Добавьте блокировку ИИ-ботов
После блока для поисковых систем добавьте отдельные секции для каждого ИИ-бота. Если хотите полностью запретить использование контента для обучения:
User-agent: GPTBotDisallow: /User-agent: Google-ExtendedDisallow: /User-agent: ClaudeBotDisallow: /User-agent: CCBotDisallow: /
Для выборочной блокировки (например, закрыть блог, но оставить каталог товаров) укажите конкретные пути:
User-agent: GPTBotDisallow: /blog/Allow: /catalog/
Шаг 4: Укажите карту сайта
Добавьте в конец файла ссылку на XML-карту сайта, чтобы поисковые системы быстрее находили новые страницы:
Sitemap: https://вашсайт.ru/sitemap.xml
Шаг 5: Загрузите файл и проверьте
Сохраните robots.txt в кодировке UTF-8 без BOM и загрузите в корневую директорию сайта. Проверьте доступность по адресу вашсайт.ru/robots.txt в браузере. Для проверки синтаксиса используйте инструмент Google Search Console (раздел «Проверка robots.txt») или Яндекс.Вебмастер.
Шаг 6: Мониторьте логи сервера
Через 1-2 недели после публикации проверьте логи сервера на наличие запросов от заблокированных ботов. Если GPTBot или другие User-agent продолжают сканировать сайт, они либо игнорируют robots.txt, либо используют другие идентификаторы.
Типичные ошибки и как их избежать при работе с robots.txt
Неправильная настройка robots.txt может полностью скрыть сайт из поисковых систем или, наоборот, оставить открытым для ИИ-ботов конфиденциальный контент. Вот распространённые ошибки и способы их исправления.
Ошибка 1: Блокировка всех ботов вместо ИИ-ботов. Директива «User-agent: * / Disallow: /» закрывает сайт от всех роботов, включая Google и Яндекс. Результат — полное исчезновение из поисковой выдачи. Решение: всегда указывайте конкретные User-agent для ИИ-ботов отдельными блоками.
Ошибка 2: Использование robots.txt для скрытия конфиденциальных данных. Файл robots.txt публичный, и злоумышленники могут прочитать, какие разделы вы пытаетесь скрыть (например, «Disallow: /secret-admin/»). Это привлекает внимание к уязвимым местам. Решение: для защиты конфиденциальной информации используйте авторизацию, файл .htaccess или настройки сервера, а не robots.txt.
Ошибка 3: Опечатки в User-agent. Написание «GPTbot» вместо «GPTBot» (с заглавной B) приведёт к тому, что бот OpenAI не распознает директиву. Решение: копируйте User-agent из официальной документации разработчиков ботов, соблюдая регистр символов.
Ошибка 4: Блокировка CSS и JavaScript. Строки типа «Disallow: /*.css» или «Disallow: /js/» мешают поисковым системам корректно отображать страницы и оценивать их юзабилити. Google может понизить рейтинг таких сайтов. Решение: разрешайте доступ к статическим ресурсам (CSS, JS, изображениям) для Googlebot и Yandex Bot.
Ошибка 5: Отсутствие проверки после изменений. Один лишний символ или пробел может нарушить синтаксис файла. Решение: после каждого изменения проверяйте robots.txt через Google Search Console или специализированные валидаторы, и мониторьте индексацию в течение недели.
Ошибка 6: Игнорирование новых ИИ-ботов. Компании регулярно запускают новые краулеры для обучения моделей, и их User-agent могут меняться. Решение: подписывайтесь на обновления от крупных разработчиков ИИ (OpenAI, Google, Anthropic) и обновляйте robots.txt при появлении новых ботов.
Частые вопросы
Можно ли заблокировать ChatGPT, но оставить сайт в Google?
Да, для этого добавьте в robots.txt блок «User-agent: GPTBot / Disallow: /», который запретит доступ боту OpenAI, и отдельный блок «User-agent: Googlebot / Allow: /», разрешающий индексацию Google. Эти роботы независимы, и блокировка одного не влияет на другого.
Что будет, если заблокировать Google-Extended?
Блокировка Google-Extended ограничит использование вашего контента для обучения будущих версий модели Gemini и генеративных продуктов Google, но не повлияет на текущую индексацию в обычном поиске Google. Сайт останется в выдаче, но может реже попадать в AI Overviews.
Как узнать, какие боты сканируют мой сайт?
Проверьте логи веб-сервера (access.log на Apache или Nginx) и найдите строки с User-agent в запросах. Большинство хостинг-панелей (cPanel, ISPmanager) предоставляют инструменты анализа логов. Также можно использовать системы аналитики типа Google Analytics с настроенными фильтрами для ботов.
Robots.txt защищает от всех ИИ-ботов?
Нет, robots.txt — это рекомендация, а не технический барьер. Добросовестные боты крупных компаний (OpenAI, Google, Anthropic) соблюдают директивы, но мелкие краулеры или злонамеренные скрейперы могут игнорировать файл. Для полной защиты нужны дополнительные меры: rate limiting, CAPTCHA, авторизация.
Нужно ли обновлять robots.txt после настройки?
Да, рекомендуется пересматривать robots.txt раз в 3-6 месяцев или при появлении новых ИИ-ботов. Компании регулярно запускают краулеры с новыми User-agent, и без обновления файла ваш контент может снова стать доступным для обучения моделей.
Можно ли заблокировать только часть сайта от ИИ?
Да, используйте директиву Disallow с указанием конкретного пути. Например, «User-agent: GPTBot / Disallow: /premium/» закроет от GPTBot только раздел /premium/, а остальные страницы останутся доступными. Это полезно для защиты платного контента при сохранении видимости бесплатных материалов.
Вывод
Настройка robots.txt для ИИ-ботов позволяет бизнесу контролировать использование контента в обучении языковых моделей без потери видимости в поисковых системах. Блокировка GPTBot, Google-Extended и других специализированных краулеров через отдельные директивы защищает уникальные материалы, а правильное разделение доступа для поисковых и обучающих ботов сохраняет позиции в SEO. Регулярная проверка и обновление файла, мониторинг логов сервера и использование дополнительных методов защиты обеспечивают комплексный подход к управлению видимостью сайта. Актуально на 31 октября 2026 года.
Кто это написал
Мы в Perfinn разрабатываем сайты и не только: интернет-магазины, корпоративные порталы, интеграции с 1С и 1С-Битрикс, автоматизацию бизнес-процессов и внедрение ИИ в рабочие сценарии.
Расскажите задачу — предложим решение и оценим сроки: perfinn.ru