Закрыть сайт от AI ботов или нет: единый запрет на обучение нейросетей и что делать владельцу бизнеса

30 октября 2026 года четыре крупнейшие AI-компании согласились в одном: одной строки в файле robots.txt должно хватать, чтобы сказать «не используйте мои страницы для обучения ваших моделей». Для владельца бизнеса это старый вопрос в новой форме. Закрыть сайт от AI ботов целиком или оставить открытым, чтобы не пропасть из ответов, где клиенты теперь ищут подрядчика? Сайт технически закрыть легко, но решение о доступе ботов для бизнеса сложнее. Ниже три разных вида доступа, матрица решений по типам страниц, план на 30 дней и границы нового стандарта.

Закрыть сайт от AI ботов: что объявили четыре компании и когда это заработает

По репортажу SiliconANGLE, Google, Microsoft, Anthropic и OpenAI будут поддерживать общую запись в robots.txt, которая блокирует все их сборщики данных для обучения генеративных моделей. Проект стандарта отправлен в IETF. До сих пор приходилось перечислять каждую компанию и каждого её бота отдельно, поэтому правило gptbot robots.txt никогда не покрывало всё.

Сроки разные. OpenAI и Microsoft обещают поддержку в ближайшие месяцы, Google в следующем году, у Anthropic в этом репортаже срока нет. Meta идею поддерживает, но внедрять не обязалась. Пока это проект, а не рубильник.

Обучение, AI-ответы и поиск: три разных доступа к вашему сайту

Почему одно правило для всех ботов не работает

Путаница возникает, когда все боты считаются одинаковыми. На деле у них три задачи, и у каждой свои последствия для бизнеса.

Вид доступа	Что делает бот	Если закрыть
Обучение	Собирает страницы, чтобы учить модель	Ваш текст не попадёт в будущие версии моделей
AI-ответы (grounding)	Открывает страницу, чтобы ответить на вопрос одного человека	Вас могут не назвать и не показать в ответе
Поиск	Индексирует страницы для обычной выдачи	Можно выпасть из результатов поиска

Microsoft заявляет, что добавит отдельную настройку AI Grounding для второй строки. Общая новая запись касается только первой. Поэтому осторожный владелец решает по каждой строке отдельно, а не одним «да» или «нет».

Что вы теряете, если закрыть всё, и что рискуете, если открыть всё

Если закрывать сайт от ai ботов целиком, то есть блокировать AI ботов без разбора, можно пропасть из AI-поиска, а при смешанном краулере и из обычного. Cloudflare объясняет, что смешанный бот индексирует и обучается под одним именем, поэтому его настройка «Block» теперь влияет и на поиск, а отдельный вариант «Disallow AI Training» оставляет вас в выдаче. У полностью открытого сайта своя цена: ваша ценовая логика, платные гайды и оригинальные исследования окажутся внутри моделей, которые не пришлют вам ни одного посетителя.

Матрица решений: какие страницы закрывать от обучения, а какие держать открытыми

• Коммерческие страницы, услуги и кейсы: открыты, потому что приносят обращения, когда AI-ответы вас упоминают.
• Платная экспертиза, курсы и закрытые материалы: закрыть от обучения и спрятать за вход или paywall.
• База знаний и справка: открыть, если приводит клиентов, закрыть, если раздаёт то, что вы продаёте.
• Цены и наличие: открыты для поиска, для AI-ответов решайте по каждому случаю.
• Данные сотрудников и клиентов: никогда на публичных страницах и не доверять строке в robots.txt, ведь закрыть сайт от нейросетей не значит спрятать публичный адрес.

Это отправная точка. Почему видимость внутри ответов важна, даже когда клики падают, показывает наш разбор продвижения сайта в эпоху AI Mode. Стоит ли закрыть сайт от ИИ-ботов в части платной экспертизы, но не услуг? Да, и список показывает, как.

Что проверить в robots.txt, CDN и настройках хостинга уже сейчас

Проверка в пять шагов

1. Откройте адрес-вашего-сайта/robots.txt и прочитайте файл как посторонний. Хороший robots.txt для ai ботов называет каждого бота и его назначение.
2. Найдите старое «Disallow: /», оставшееся от тестового сайта.
3. Проверьте, не блокирует ли ваш CDN или фаервол AI-ботов по умолчанию, потому что это может перекрыть robots.txt.
4. Составьте список нужных ботов: правило для обучающего бота и отдельное для поискового.
5. Запишите решение с ответственным и датой пересмотра.

Документация каждой компании называет её ботов и их задачи, например список ботов OpenAI. Если вы хотите блокировать ai ботов для обучения, правило сегодня пишут в robots.txt по одной компании. Закрывайте обучающего бота и пускайте поискового, только если так и задумано. Хороший robots.txt для ai ботов пересматривают раз в квартал.

Ограничения стандарта: на кого он не действует и что не защищает

Стандарт запрета на обучение это вежливая просьба, а не замок. Стандарт запрета на обучение не имеет контроля. Выполнение никто не проверяет, штрафов в проекте нет. Он не остановит сборщиков вне этих четырёх компаний, не удалит то, что уже собрано, и не касается моделей с негенеративными задачами. Стандарт запрета на обучение считайте одним слоем рядом с договорами, закрытым входом и уведомлением об авторских правах. По правам в ЕС и США спросите юриста об исключении для анализа текстов и данных и о ваших условиях использования.

План на 30 дней: решение, внедрение, контроль

• Дни 1–7: разложите страницы по матрице и согласуйте политику с маркетингом и юристом.
• Дни 8–14: измените robots.txt, правила CDN и хостинга и проверьте на тестовой копии.
• Дни 15–21: проверьте поиск и AI-ответы по бренду и ключевым услугам.
• Дни 22–30: изучите логи заблокированных ботов и назначьте проверку раз в квартал.

Так закрыть сайт от AI ботов или нет? Решайте по страницам. Точная формулировка стандарта ещё меняется, поэтому поставьте напоминание вернуться к ней, когда Microsoft и OpenAI выпустят поддержку.

Бесплатная проверка сайта и AI-ботов

Наше SEO-продвижение включает быстрый SEO-аудит по ботам: что открыто и закрыто в robots.txt, CDN и на хостинге и какие страницы видят AI-поиск и обучение.