Цитирование в ИИ-ответах: что задокументировано, а что нет

Документация Google Search Central об AI Overviews и AI Mode говорит прямо. Дополнительных требований для появления в этих функциях нет, и специальная оптимизация не нужна. Чтобы страница могла стать подтверждающей ссылкой, она должна быть проиндексирована и иметь право показываться в Google Поиске со сниппетом. В руководстве Google по оптимизации добавлено, что для этого сайт должен быть включён в генеративные ИИ-функции Поиска в Search Console.

Google также описывает механизм в общих чертах. Эти функции используют генерацию с дополненной выборкой (retrieval-augmented generation), которая опирается на основные системы ранжирования Поиска для извлечения страниц из поискового индекса, и «веерное расширение запроса» (query fan-out), при котором модель выполняет несколько связанных поисков по подтемам, прежде чем составить ответ. AI Overviews появляются, только когда системы Google считают, что они дополняют классические результаты, и, по словам Google, часто не срабатывают. AI Mode и AI Overviews могут использовать разные модели, поэтому ссылки, которые они показывают по одному и тому же вопросу, могут различаться.

На практике видимость в ИИ-функциях Google держится на тех же основах, что и обычная видимость в поиске. Страница, которую нельзя просканировать, проиндексировать или которой запрещено показывать сниппет, не может туда попасть.

OpenAI документирует отдельных поисковых роботов для отдельных задач. OAI-SearchBot выводит сайты в поисковых функциях ChatGPT, и сайты, которые его блокируют, не будут показываться в поисковых ответах ChatGPT, хотя по-прежнему могут появляться как навигационные ссылки. GPTBot сканирует контент, который может использоваться для обучения базовых моделей OpenAI. Эти две настройки независимы, поэтому сайт может разрешить OAI-SearchBot и запретить GPTBot. ChatGPT-User загружает страницы, когда пользователь задаёт ChatGPT вопрос, и OpenAI отмечает, что правила robots.txt могут не применяться к таким запросам, инициированным пользователем. По данным OpenAI, изменение robots.txt может отразиться на результатах поиска примерно через 24 часа.

Документация Perplexity построена похожим образом. PerplexityBot выводит сайты и ссылки на них в результатах поиска Perplexity и, по словам Perplexity, не используется для сбора контента для базовых моделей ИИ. Perplexity-User загружает страницы в ответ на вопросы пользователей и, как правило, игнорирует robots.txt. Perplexity также советует владельцам сайтов, защищённых межсетевым экраном веб-приложений, внести опубликованные ею диапазоны IP-адресов в список разрешённых.

Один сценарий сбоя находится ниже уровня контент-команды. Правило межсетевого экрана или CDN, написанное для защиты от парсеров, может заблокировать OAI-SearchBot или PerplexityBot, хотя никто такого решения не принимал. Собственный контрольный список Google для ИИ-функций включает проверку того, что сканирование разрешено «любой CDN или хостинговой инфраструктурой», а также в robots.txt.

Ни один провайдер не публикует критерии, по которым его система выбирает один источник вместо другого для конкретного ответа. Советы, авторы которых утверждают, что знают эти веса, основаны на догадках. В руководстве Google по оптимизации сказано, что ни один сторонний инструмент не имеет доступа к внутренним системам ранжирования или ИИ Google, а владельцам сайтов рекомендуется с осторожностью относиться к инструментам, заявляющим об использовании внутренних метрик Google.

В том же руководстве затрагивается llms.txt. llms.txt представляет собой предложение, опубликованное на llmstxt.org, о файле в формате markdown, который даёт языковым моделям отобранный обзор сайта со ссылками на очищенные версии его страниц. Google заявляет, что Google Поиск не использует llms.txt и подобные текстовые файлы для ИИ. Публикация такого файла не поможет и не навредит видимости или позициям в Google Поиске. В документации OpenAI и Perplexity о поисковых роботах он не упоминается. Сайт может публиковать его для агентов программирования или других инструментов, которые его читают, но опубликованных оснований считать его фактором ранжирования ни для одной из трёх рассматриваемых здесь систем нет.

Google перечисляет и другие популярные приёмы, которые, по его словам, владельцы сайтов могут игнорировать применительно к ИИ-функциям. Среди них разбиение контента на мелкие «фрагменты» (chunks), переписывание страниц специально для систем ИИ, погоня за неаутентичными упоминаниями в интернете и добавление специальной разметки schema.org для ИИ.

Системе ответов, которая цитирует организацию, нужно понять, о какой организации идёт речь. Это сложнее, когда торговое наименование отличается от юридического, регистрационный номер нигде на сайте не указан, а профили в каталогах, социальных сетях и на маркетплейсах описывают компанию по-разному.

В документации Google о структурированных данных Organization описана разметка, которая помогает Google понять административные сведения об организации и отличить её от других. Доступные свойства включают legalName, ссылки sameAs на профили на других сайтах, vatID, taxID и iso6523Code, в котором можно указать идентификатор юридического лица (LEI) с префиксом 0199. Ни одно из свойств не является обязательным. Руководство Google по ИИ-функциям добавляет две оговорки. Структурированные данные должны соответствовать видимому тексту на странице, и для генеративного ИИ-поиска они не обязательны. Их ценность состоит в устранении неоднозначности, и они помогают получить право на расширенные результаты.

Эта работа рутинна. Укажите на сайте обычным текстом юридическое наименование, регистрационный номер и зарегистрированный адрес. Последовательно разметьте их и направьте sameAs на профили, которыми вы управляете. Поддерживайте в актуальном состоянии Google Business Profile, а ретейлерам ещё и информацию в Merchant Center. По словам Google, и то и другое может помочь товарам и услугам появляться в его ИИ-ответах.

Определите политику для поисковых роботов осознанно. Доступ для обучения и для поиска у OpenAI можно настроить отдельно через GPTBot и OAI-SearchBot. У Google токен Google-Extended управляет использованием контента для обучения моделей Gemini и для обоснования ответов (grounding), и, по заявлению Google, не влияет на включение в Google Поиск и ранжирование в нём. Зафиксируйте решение и его причину для каждого user agent.

Проверьте, что политика соблюдается на периметре. Просмотрите журналы межсетевого экрана и CDN на предмет заблокированных запросов от опубликованных user agent и диапазонов IP-адресов и проверьте robots.txt с учётом задокументированных токенов каждого провайдера.

Используйте управление сниппетами только там, где оно служит конкретной цели. Google считает nosnippet, data-nosnippet, max-snippet и noindex инструментами, которые ограничивают то, что показывается со страницы в Поиске, включая его ИИ-функции. Страница, которая блокирует сниппеты, тем самым лишает себя права быть подтверждающей ссылкой.

Измеряйте то, что поддаётся измерению. Google показывает трафик из AI Overviews и AI Mode в отчёте об эффективности Search Console и предлагает отчёт об эффективности в генеративном ИИ. Цитирование в других системах отслеживайте, проверяя фиксированный набор вопросов по фиксированному графику, и рассматривайте результаты как наблюдения, а не как рейтинг.

Дайте системам то, что стоит цитировать. Руководство Google призывает к «нетиповому» контенту, основанному на собственной экспертизе из первых рук. Для состоявшейся организации это обычно означает публикацию конкретных доказательств, методов и данных, которые у неё уже есть, с указанием автора и даты на каждой странице.