Ни одна бизнес-конференция сейчас не обходится без разговоров об искусственном интеллекте. Спикеры в своих выступлениях говорят о внедрении AI в бизнес-процессы, но не менее важно и то, как машины получают информацию о деятельности компании и что транслируют, отвечая на запросы людей. Проблема AI-видимости (появления компании в ИИ-выдаче) актуальна для любого бизнеса. Пиар-директор разработчика решений для анализа и фильтрации нежелательного трафика Servicepipe Вероника Горячева рассуждает о том, как инструменты для киберзащиты могут мешать видимости веб-ресурсов компании для искусственного интеллекта и что с этим можно сделать

Топ-менеджеры компаний стремятся сделать сайт компании максимально заметным. Для HR важно, чтобы соискатели получали информацию из первых рук, коммерческие отделы надеются, что AI-видимость положительно повлияет на продажи. В итоге маркетологи разрабатывают стратегию GEO и AEO (Generative Engine Optimization и Answer Engine Optimization, подходы к оптимизации контента для повышения видимости в генеративных системах и ИИ-ответах), пиар-специалисты бьются над единым контекстом во всех источниках, делают тексты более читаемыми для машины, а порой даже платят достаточно серьезные деньги агентствам за рекомендации по повышению AI-видимости.

Однако вся эта сложная длительная работа будет напрасной, если ИИ-агенты и боты нейросетей просто не смогут зайти на сайт компании.

Объясню подробнее, как это работает. Кроме обычных запросов реальных людей, которые приходят через поиск, прямые заходы, соцсети и рекламу, на сайт любой компании «стучится» множество машин. Машины — это множество «ботов»: полезные краулеры поисковиков, системы мониторинга, аналитические сервисы, а также нелегитимные сканеры и парсеры, DDoS, ботнеты и различные веб-угрозы. Поисковые роботы — это полезные боты: они соблюдают правила, используют определенные IP‑диапазоны и часто оставляют явные подписи. Зловредные боты, наоборот, часто маскируются под реальных людей.

Если сайт компании не имеет защиты от ботов, на него проходит автоматизация. Хорошая новость — ИИ-агенты вас могут найти, плохая — ресурс может лечь под DDoS-атакой, боты могут устроить бомбардировку ваших клиентов миллионами СМС и т.д. Далеко не все сайты могут позволить себе такую роскошь, как не иметь защиты от атак ботов.

И тогда внедряется защита. Современные решения, в первую очередь антибот‑платформы, анализируют поведение посетителей по множеству признаков. Чтобы полезные боты попадали на сайт, система защиты от ботов должна распознавать их, пропускать, включая в локальные белые списки. Есть разные механизмы обеления. Например, репутационные списки. По аналогии с тем, как службы безопасности аэропортов работают со списками надежных перевозчиков, системы защиты сайтов ведут базы проверенных источников трафика. Если запрос поступает от инфраструктуры, которая долгое время демонстрировала легитимное поведение и не была замечена в злоупотреблениях, вероятность блокировки существенно снижается. Кроме того, крупные поисковые системы и технологические компании зачастую публикуют сведения о сетях, из которых ходят их боты, что помогает отличать запрос поисковика от злонамеренного бота, который просто пытается выдать себя за него.

Но этих факторов недостаточно, поэтому используются сигнатуры поведения — характерные модели действий, свойственные тому или иному типу автоматизированных систем. Поисковые и AI-краулеры обычно перемещаются по сайту последовательно, соблюдают ограничения по частоте запросов, корректно обрабатывают ответы сервера и следуют правилам доступа. Вредоносные боты, напротив, чаще демонстрируют агрессивное сканирование, попытки перебора страниц и другое аномальное поведение. Анализ таких поведенческих паттернов помогает точнее различать полезную и вредоносную автоматизацию.

Еще один элемент доверия — верифицированные User-Agent (UA). User-Agent представляет собой часть заголовка запроса, которая содержит информацию об источнике запроса. То есть многие хорошие боты буквально представляются, направляя запрос к сайту. Однако злоумышленники могут подделывать такие UA, поэтому современные системы проверяют также соответствие других технических признаков. Только совокупность факторов позволяет убедиться, что перед системой действительно находится заявленный сервис.

На сегодняшний день многие антибот-решения умеют выявлять привычную полезную автоматизацию, которая годами ходит на сайты различных компаний, и пропускать ее. Однако ИИ-поиск явление еще достаточно новое, и потому многие решения по защите от ботов просто не умеют их качественно идентифицировать. И даже если умеют, они не включаются в белые списки автоматически. То есть может быть как пропуск, так и блокировка ИИ-поиска. Потому требуется, чтобы защита от ботов выявляла ИИ-автоматизацию и включала ее в белые списки.

Что это значит для всех тех, кто заинтересован в пропуске ИИ-ботов на сайт и в повышении видимости в нейросетях? Как минимум нужно немного погрузиться в технические детали и провести небольшую инвентаризацию. Нужен список всех тех, кто должен иметь доступ к сайту: поисковые краулеры (Googlebot, Yandex), агрегаторы карт и каталогов, платные мониторинговые сервисы, партнерские интеграции и сторонние ИИ.

Если говорить про ИИ-поиск, то на ваш сайт должны точно попадать:

ИИ-ассистенты, которые обращаются к сайту по запросу пользователя и ищут релевантную информацию; ИИ-краулеры, которые самостоятельно обходят сайты для обучения ИИ-сервисов. При этом существует еще отдельная категория ассистентов, которые могут получать информацию через поисковые индексы и другие промежуточные источники данных. Например, могут быть сложности с идентификацией «Алисы AI», Gemini или Copilot. Соответственно, если ресурс хочет корректно работать с такими сервисами, необходимо отдельно «обелять» поисковых ботов крупных компаний — «Яндекса», Google и Microsoft, либо добавлять в белые списки доверенные подсети этих компаний.

Следующий шаг — вместе с IT- или ИБ-специалистами проверить, доходит ли вся эта ИИ-автоматизация к вам, чтобы ее «обелить». Это будет задачка со звездочкой.

Некоторые ИИ-агенты, как я уже говорила, «представляются» при обращении на сайт. Например, ChatGPT, Claude или Perplexity. Таких агентов относительно легко идентифицировать. В то же время есть ИИ-ассистенты, которые могут использовать браузерный стек и стандартные браузерные юзер-агенты Chrome или Safari. Это означает, что для их выявления нужно смотреть и другие технические признаки.

То есть для выявления ИИ-трафика, если вам требуется картинка на 360 градусов, потребуется полноценный поведенческий и сетевой анализ. В то же время, если интересуют отдельные нейросети, например запросы людей через ChatGPT, анализ будет не столь сложен.

После проведения «обеления» коллегами из IT- или ИБ-подразделения нужно провести тест в разных ИИ — действительно ли вы стали видимы для нейросетей или пока нет. В случае с ChatGPT, Claude или Perplexity это упражнение можно проделать самостоятельно: задать вопрос нейросети по информации на вашем сайте. Например, это поможет сделать промпт «перейди на сайт www.nazvaniekompanii.ru и найди последнюю новость», если используемая версия ИИ имеет веб-доступ. Далее попросите технических специалистов проверить логи. Это технические записи, которые сервер, сайт или система безопасности автоматически создают на каждый запрос к веб-ресурсу. В них фиксируется информация о том, кто отправил запрос, когда это произошло, какую страницу пытались открыть, какой ответ получил посетитель и другие технические параметры взаимодействия. И если ваш запрос на сайт прошел, технари его увидели — все получилось.

В качестве бонуса после этого «упражнения», которое потребует усилий ваших коллег из IT и ИБ, вы получите значительно более полное представление о том, какие ИИ-агенты и автоматизированные сервисы обращаются к вашему ресурсу. При желании эту статистику можно собирать регулярно, в том числе видеть визиты ИИ на каждую страницу сайта в отдельности.

Что это значит на практике? Например, вышло у компании крутое обновление флагманского продукта — пиар выпустил пресс-релиз, ряд статей в СМИ, появилась информация в блоге на сайте, прошел вебинар, маркетинговая акция. Имея аналитику, вы сможете увидеть не только изменение посещаемости на сайте компании и на странице продукта в частности, но и динамику обращений со стороны AI-агентов и оценить, какие платформы чаще используют ваш контент. И даже отследить лиды, пришедшие через ИИ.

В ряде случаев «обеление» ИИ-поиска (и аналитика) уже есть в настройках антибот-платформ, и тогда ваша задачка со звездочкой может превратиться в простое подключение дополнительного функционала через коллег из IT или ИБ-отдела.

И потому очень рекомендую перед запуском любой GEO‑кампании включить в чеклист бот‑аудит, чтобы технические специалисты проверили логи, идентифицировали ключевых агентов и «обелили» нужных. Маленькое усилие до запуска убережет вас от большой потери трафика, репутации, бюджетов и времени после.

Мнение редакции может не совпадать с точкой зрения автора