被AI答案引擎引用：哪些有据可查，哪些没有

Google Search Central关于AI概览（AI Overviews）和AI模式（AI Mode）的文档说得很直接：出现在这两项功能中没有额外要求，也无需进行特别优化。要有资格成为辅助链接，页面必须已被编入索引，并有资格在Google搜索中以摘要形式展示。Google的优化指南还指出，网站必须在Search Console中被纳入搜索生成式AI功能，才具备资格。

Google也概括介绍了其机制。这些功能采用检索增强生成，依靠核心搜索排名系统从搜索索引中检索页面，并采用“查询扇出”（query fan-out），即模型在组织回答之前，围绕多个子主题发出若干相关搜索。只有当Google的系统判断AI概览能够为传统结果增添价值时，才会显示AI概览，而Google表示其往往不会触发。AI模式和AI概览可能使用不同的模型，因此对同一问题显示的链接可能不同。

实际上，在Google AI功能中的可见度，与普通搜索可见度建立在同样的基础之上。无法被抓取、无法被编入索引或被禁止显示摘要的页面，都不具备资格。

OpenAI为不同用途记录了不同的爬虫。OAI-SearchBot用于在ChatGPT的搜索功能中展示网站，屏蔽它的网站将不会出现在ChatGPT的搜索回答中，但仍可能以导航链接的形式出现。GPTBot抓取可能用于训练OpenAI基础模型的内容。两项设置相互独立，因此网站可以允许OAI-SearchBot，同时禁止GPTBot。ChatGPT-User在用户向ChatGPT提问时抓取页面，OpenAI指出，robots.txt规则可能不适用于这类由用户发起的请求。OpenAI表示，robots.txt的更改大约需要24小时才会影响搜索结果。

Perplexity的文档遵循类似的模式。PerplexityBot用于在Perplexity搜索结果中展示并链接网站，据Perplexity称，它不用于为AI基础模型抓取内容。Perplexity-User应用户提问抓取页面，通常会忽略robots.txt。Perplexity还建议部署了Web应用防火墙的网站所有者，将其公布的IP地址段加入允许名单。

有一种失效模式发生在内容团队看不到的层面。为阻止数据抓取而编写的防火墙或CDN规则，可能在无人决定的情况下屏蔽OAI-SearchBot或PerplexityBot。Google自己针对AI功能的检查清单就包括：确保不仅在robots.txt中，而且在“任何CDN或托管基础设施”中都允许抓取。

没有一家服务商公开其系统在某一回答中选择某个来源而非另一个来源的标准。声称了解这些权重的建议都属于推测。Google的优化指南指出，没有任何第三方工具能够访问Google内部的排名或AI系统，并提醒网站所有者警惕那些声称使用Google内部指标的工具。

该指南还谈到了llms.txt。llms.txt是发布在llmstxt.org上的一项提案，建议用一个markdown文件为语言模型提供经过整理的网站概览，并链接到各页面的简洁版本。Google表示，Google搜索不使用llms.txt或类似的AI文本文件；发布这样的文件既不会提升也不会损害在Google搜索中的可见度或排名。OpenAI和Perplexity的爬虫文档均未提及它。网站仍可以为读取该文件的编程智能体或其他工具发布一份，但没有任何公开依据表明它是本文所讨论的三个答案引擎中任何一个的排名因素。

Google还列出了其他一些流行做法，并表示网站所有者在其AI功能方面可以不必理会。这些做法包括：把内容拆分成小“块”、专门为AI系统改写页面、在网络上追逐不真实的提及，以及为AI添加特殊的schema.org标记。

答案引擎在引用某个机构时，必须先弄清楚它是哪一个机构。如果商号与法定名称不同、网站上找不到注册编号，而目录网站、社交平台和电商平台上的资料对企业的描述又各不相同，这项工作就会更加困难。

Google关于Organization结构化数据的文档介绍了相关标记，帮助Google理解机构的行政信息，并将其与其他机构区分开来。可用的属性包括legalName、指向其他网站资料页的sameAs链接、vatID、taxID和iso6523Code，后者可以承载带有前缀0199的法人机构识别编码（LEI）。这些属性均非必填。Google的AI功能指引补充了两点限定：结构化数据必须与页面上的可见文本一致，而且生成式AI搜索并不要求结构化数据。其价值在于消除歧义，并有助于获得富媒体搜索结果的资格。

这项工作并不光鲜。在网站上以纯文本列出法定名称、注册编号和注册地址。对其进行一致的标记，并将sameAs指向自己掌控的资料页。保持Google商家资料以及（对零售商而言）Merchant Center信息的最新状态。Google表示，这两者都有助于产品和服务出现在其AI回答中。

审慎制定爬虫政策。对于OpenAI，可以通过GPTBot和OAI-SearchBot分别设置训练访问和搜索访问。对于Google，Google-Extended标记管控内容在Gemini模型训练和事实依据中的使用，Google表示它不影响Google搜索中的收录或排名。为每个用户代理记录所作的决定及其理由。

检验政策在网络边缘是否真正生效。审查防火墙和CDN日志中来自已公布用户代理和IP地址段的被拦截请求，并用各服务商文档中的标记检查robots.txt。

只在确有需要时使用摘要控制。Google将nosnippet、data-nosnippet、max-snippet和noindex视为限制页面内容在搜索（包括其AI功能）中展示的控制手段。屏蔽摘要的页面，也就放弃了成为辅助链接的资格。

衡量可以衡量的部分。Google在Search Console效果报告中报告AI概览和AI模式带来的流量，并提供生成式AI效果报告。对于其他引擎中的引用，可按固定时间表对一组固定问题进行抽样追踪，并将结果视为观察记录，而不是排名。

给引擎值得引用的内容。Google的指南要求基于第一手专业知识的“非同质化”内容。对于一家成熟的机构，这通常意味着公开其已掌握的具体证据、方法和数据，并在每个页面注明作者和日期。