Файл robots.txt позволяет управлять доступом ИИ-краулеров к контенту сайта: можно заблокировать сбор данных для обучения моделей, оставив индексацию для поисковых систем. Это достигается через указание разных User-Agent для ботов обучения (GPTBot, CCBot) и поисковых роботов (Googlebot, Bingbot). Актуально на 10 ноября 2026 года.
Почему robots.txt не панацея для защиты от ИИ
Файл robots.txt — это рекомендация для добросовестных ботов, а не техническая защита: любой краулер может игнорировать директивы. Крупные компании вроде OpenAI и Anthropic декларируют соблюдение правил robots.txt, но мелкие стартапы и недобросовестные парсеры часто не учитывают эти ограничения. Блокировка в robots.txt не шифрует контент и не скрывает его от пользователей — страницы остаются доступны через браузер.
Эффективность зависит от репутации владельца бота. Google, Microsoft, OpenAI публично обязались уважать robots.txt для своих ИИ-сканеров. Но если ваш контент уже попал в обучающую выборку до установки запрета, удалить его из модели невозможно — директивы действуют только на будущие сканирования. Для полноценной защиты robots.txt нужно комбинировать с другими методами: авторизацией, rate limiting, анализом заголовков запросов.
Разница между ИИ-краулерами для поиска и для обучения
ИИ-краулеры делятся на два типа: поисковые боты индексируют контент для выдачи результатов в поиске, а боты обучения собирают данные для тренировки языковых моделей. Поисковые роботы (Googlebot, Bingbot) нужны для SEO-видимости — их блокировка убирает сайт из поисковой выдачи. Боты обучения (GPTBot от OpenAI, CCBot от Common Crawl, Google-Extended) используют контент для создания ИИ-моделей без прямой пользы для владельца сайта.
Критическое различие: блокировка GPTBot не влияет на позиции в Google, потому что это разные User-Agent. Google-Extended отвечает за обучение Gemini и AI Overviews, но индексацию выполняет Googlebot. Аналогично у Microsoft: Bingbot индексирует для поиска, а отдельные боты собирают данные для Copilot. Бизнесу важно разделять эти категории в robots.txt, чтобы сохранить трафик из поиска и одновременно ограничить использование контента для ИИ обучения.
Как идентифицировать ИИ-ботов: список User-Agent
Каждый ИИ-бот идентифицируется уникальной строкой User-Agent в HTTP-заголовках запроса. Для блокировки в robots.txt используется директива User-agent с последующим Disallow. Основные боты обучения моделей:
- GPTBot — OpenAI, сбор данных для ChatGPT и GPT-моделей
- ChatGPT-User — OpenAI, краулер для функции Browse with Bing в ChatGPT
- Google-Extended — Google, обучение Gemini и генеративного поиска, не влияет на индексацию
- CCBot — Common Crawl, открытый датасет для исследований и обучения ИИ
- anthropic-ai — Anthropic, сбор для модели Claude
- ClaudeBot — Anthropic, краулер Claude
- Omgilibot — Omgili, агрегатор для ИИ-анализа
- FacebookBot — Meta, частично используется для обучения LLaMA
- Applebot-Extended — Apple, обучение Apple Intelligence
Поисковые боты, которые не стоит блокировать для сохранения SEO: Googlebot, Bingbot, YandexBot, Slurp (Yahoo). Проверить User-Agent конкретного запроса можно в логах сервера (access.log) или через инструменты веб-аналитики. Некоторые парсеры подделывают User-Agent под браузеры — против них robots.txt бессилен.
Настройка robots.txt: блокируем обучение, разрешаем индексацию
Чтобы запретить ИИ обучение, но сохранить индексацию сайта для поисковых систем, добавьте в robots.txt блоки для ботов обучения с директивой Disallow, оставив поисковые боты без ограничений. Пример конфигурации:
User-agent: GPTBotDisallow: /
User-agent: ChatGPT-UserDisallow: /
User-agent: Google-ExtendedDisallow: /
User-agent: CCBotDisallow: /
User-agent: anthropic-aiDisallow: /
User-agent: ClaudeBotDisallow: /
User-agent: OmgilibotDisallow: /
User-agent: FacebookBotDisallow: /
User-agent: Applebot-ExtendedDisallow: /
User-agent: GooglebotDisallow:
User-agent: BingbotDisallow:
Директива Disallow: / запрещает доступ ко всем страницам сайта. Пустая строка после Disallow (или её отсутствие) разрешает полный доступ. Если нужно защитить только часть контента, укажите конкретный путь: Disallow: /blog/ заблокирует раздел блога, оставив остальное доступным. Файл robots.txt размещается в корне домена (example.com/robots.txt) и должен быть доступен без авторизации.
Важно: порядок директив имеет значение — более специфичные правила пишутся раньше общих. После изменения robots.txt боты учтут обновления при следующем сканировании, задержка может составить от нескольких часов до недель в зависимости от частоты визитов краулера.
Дополнительные методы защиты контента от ИИ
Кроме robots.txt, существуют технические и юридические способы ограничить использование контента для ИИ обучения. Эти методы работают параллельно и усиливают базовую защиту через robots.txt.
Технические методы защиты
- Rate limiting — ограничение количества запросов с одного IP за промежуток времени через nginx, Cloudflare или WAF. Боты обучения делают массовые запросы, rate limiting замедляет сбор данных
- Авторизация — размещение ценного контента за логином. Краулеры не проходят авторизацию, контент остаётся недоступен для обучения
- Анализ User-Agent и IP — блокировка подозрительных ботов на уровне сервера или CDN по сигнатурам заголовков и диапазонам IP
- Динамическая генерация контента — рендеринг текста через JavaScript затрудняет парсинг простыми краулерами, но не останавливает продвинутые боты с headless-браузерами
- Водяные знаки и метаданные — встраивание скрытых меток для отслеживания использования контента в обучающих датасетах (пока экспериментальный метод)
Юридические инструменты
Условия использования (Terms of Service) могут явно запрещать сбор данных для обучения ИИ. Это не техническая защита, но создаёт юридическую основу для претензий. В Евросоюзе GDPR требует согласия на обработку персональных данных, включая использование в ИИ. В США растёт число исков к ИИ-компаниям за нарушение авторских прав — прецеденты пока формируются.
Лицензии Creative Commons с ограничениями (например, CC BY-NC-ND) запрещают коммерческое использование и производные работы, что теоретически распространяется на обучение коммерческих моделей. Но на практике соблюдение этих лицензий ИИ-компаниями не гарантировано без судебного принуждения.
Будущее SEO и ИИ: к чему готовиться бизнесу
Поисковые системы интегрируют ИИ-ответы прямо в выдачу: Google AI Overviews, Bing Copilot, Яндекс Нейро синтезируют информацию из индексированных страниц и отвечают пользователю без перехода на сайт. Это снижает органический трафик — пользователь получает ответ в поиске и не кликает на результаты. Бизнесу нужно балансировать: полная блокировка ИИ-краулеров исключает контент из генеративных ответов, но сохраняет классическую индексацию.
Стратегия зависит от монетизации. Медиа и контентные площадки, зависящие от трафика и рекламы, теряют доход, когда ИИ пересказывает их материалы. Им выгодно блокировать боты обучения и требовать лицензионные отчисления (как делают издательства, договариваясь с OpenAI). E-commerce и сервисные сайты, наоборот, могут выиграть от упоминаний в ИИ-ответах как источников покупки или услуги — здесь блокировка контрпродуктивна.
Ожидается появление стандартов вроде AI.txt (аналог robots.txt специально для ИИ) и механизмов компенсации правообладателям контента. Пока единого решения нет, бизнесу стоит мониторить изменения в robots.txt крупных игроков и адаптировать политику под свои цели: защита интеллектуальной собственности или максимальная видимость в ИИ-сервисах.
Частые вопросы
Можно ли заблокировать ChatGPT через robots.txt?
Да, добавьте в robots.txt блок User-agent: GPTBot и Disallow: / — это запретит OpenAI сканировать ваш сайт для обучения новых версий моделей. Но контент, собранный до блокировки, останется в уже обученных моделях. ChatGPT также использует ChatGPT-User для функции Browse, его тоже стоит заблокировать отдельной директивой.
Повлияет ли блокировка Google-Extended на позиции в Google?
Нет, Google-Extended отвечает только за обучение ИИ (Gemini, AI Overviews), а индексацию для поиска выполняет Googlebot. Блокировка Google-Extended не влияет на SEO и органический трафик из Google Search. Это разные User-Agent с разными задачами, их можно настраивать независимо в robots.txt.
Как проверить, соблюдают ли боты мой robots.txt?
Анализируйте логи сервера (access.log или error.log): ищите строки с User-Agent заблокированных ботов и проверяйте, какие URL они запрашивают. Если GPTBot или CCBot обращаются к страницам после добавления Disallow, значит они игнорируют директивы. В этом случае блокируйте их IP-адреса на уровне firewall или через .htaccess (для Apache) либо nginx.conf.
Нужно ли блокировать все ИИ-боты для защиты авторских прав?
Зависит от бизнес-модели. Если доход зависит от уникального контента и трафика (медиа, блоги), блокировка ботов обучения защищает интеллектуальную собственность. Если важнее видимость и упоминания в ИИ-ответах (магазины, сервисы), частичная блокировка или полное разрешение могут быть выгоднее. Универсального решения нет — тестируйте и отслеживайте влияние на метрики.
Можно ли разрешить индексацию, но запретить использование в AI Overviews?
Частично. Блокировка Google-Extended запрещает обучение Gemini, но Google может использовать уже индексированный контент для генеративных ответов в поиске. Полностью исключить страницу из AI Overviews, сохранив её в обычной выдаче, пока технически невозможно — Google сам решает, какие результаты показывать в генеративном блоке на основе индекса.
Какие боты стоит блокировать в первую очередь?
Приоритет: GPTBot (OpenAI), Google-Extended (Google Gemini), CCBot (Common Crawl), ClaudeBot и anthropic-ai (Anthropic). Эти краулеры активно собирают данные для крупнейших языковых моделей. Applebot-Extended и FacebookBot — по желанию, их влияние пока меньше. Никогда не блокируйте Googlebot, Bingbot, YandexBot — это убьёт SEO и органический трафик.
Вывод
Файл robots.txt и ИИ — это инструмент управления доступом ботов обучения к контенту сайта, позволяющий блокировать GPTBot, Google-Extended и аналоги без потери индексации для поиска. Эффективность зависит от добросовестности владельцев краулеров, поэтому robots.txt нужно комбинировать с rate limiting, авторизацией и юридическими мерами. Бизнесу важно выбрать стратегию исходя из модели монетизации: защита контента или максимальная видимость в ИИ-сервисах.
Кто это написал
Мы в Perfinn разрабатываем сайты и не только: интернет-магазины, корпоративные порталы, интеграции с 1С и 1С-Битрикс, автоматизацию бизнес-процессов и внедрение ИИ в рабочие сценарии.
Расскажите задачу — предложим решение и оценим сроки: perfinn.ru