Раньше SEO начиналось с вопроса «видит ли нас Google». Теперь вопрос тоньше: кто именно пришёл на сайт. У OpenAI, например, разные роли у ботов: GPTBot связан с обучением, OAI-SearchBot с поисковой видимостью, ChatGPT-User с запросом пользователя. Заблокировать всё одним правилом удобно для безопасности, но можно случайно выключить себе витрину в AI-ответах.
Антиботы и WAF тоже не всегда понимают разницу между вредным парсером и полезным AI-краулером. У Cloudflare уже есть отдельный AI Crawl Control, где можно смотреть активность и задавать политики для таких роботов. То есть это больше не философский спор «разрешать ли ИИ читать сайт», а настройка коммерческого канала.
Мини-чек для компании, которая хочет попадать в AI-ответы:
• попросить нейросеть с веб-доступом найти свежую страницу на вашем сайте
• посмотреть в логах, дошёл ли запрос
• проверить robots.txt и правила антибота
• отдельно решить, кого пускать для поиска, а кого закрывать для обучения
Иначе получится новый вид цифровой нелепости: маркетинг покупает видимость, кибербез аккуратно её блокирует, а клиент спрашивает нейросеть и видит конкурента.