本文へスキップ
THEFOCUS

専門領域インサイト · 分析

AI回答エンジンに引用されるには:文書化されていること、いないこと

Google、OpenAI、Perplexityは、自社のシステムがどのようにウェブサイトにアクセスするかを公開しています。しかし、情報源をどう選ぶかを公開しているところはありません。それでも組織は、クローラーのアクセス、スニペットのルール、そして自らをどれだけ明確に説明するかを管理できます。

THEFOCUS 編集部 · 公開日 · 6 分で読めます

要点

  • Googleは、AIによる概要やAIモードに追加の要件はないとしています。ページがインデックスに登録され、スニペットを表示できる状態であることが条件です。
  • OpenAIとPerplexityは、検索用とユーザー起点の取得用に別々のクローラーを文書化しています。OAI-SearchBotをブロックすると、サイトはChatGPTの検索回答に表示されなくなります。
  • 情報源の選び方を公開している事業者はなく、GoogleはGoogle検索がllms.txtを使用しないとしています。
  • 一貫して表示されたエンティティ情報と、それに一致するOrganizationマークアップが、自社が何者であるかについての曖昧さを減らします。
  • ファイアウォールやCDNのルールは、意図しないクローラーのブロックのよくある原因です。

Googleが明文化していること

AIによる概要とAIモードに関するGoogle検索セントラルのドキュメントは、明快です。どちらの機能に表示されるためにも追加の要件はなく、特別な最適化も必要ありません。補足リンクとして表示される対象となるには、ページがインデックスに登録され、スニペット付きでGoogle検索に表示できる状態であることが必要です。Googleの最適化ガイドはさらに、対象となるには、Search Consoleでサイトが検索の生成AI機能に含まれている必要があるとしています。

Googleは、その仕組みについても大まかに説明しています。これらの機能は検索拡張生成を用いており、これはGoogle検索の中核となるランキングシステムによって検索インデックスからページを取得するものです。また「クエリ ファンアウト」と呼ばれる手法も用いられ、モデルは回答を組み立てる前に、サブトピックにまたがる関連検索を複数実行します。AIによる概要が表示されるのは、従来の検索結果に付加価値をもたらすとGoogleのシステムが判断した場合に限られ、表示されないことも多いとGoogleは述べています。AIモードとAIによる概要では異なるモデルが使われることがあるため、同じ質問に対して表示されるリンクが異なる場合もあります。

実務上、GoogleのAI機能での可視性は、通常の検索での可視性と同じ基盤の上に成り立っています。クロールできないページ、インデックスに登録できないページ、スニペットの表示が禁じられているページは、対象になりません。

OpenAIとPerplexityが明文化していること

OpenAIは、目的ごとに別々のクローラーを文書化しています。OAI-SearchBotはChatGPTの検索機能にウェブサイトを表示するためのもので、これをブロックしたサイトはChatGPTの検索回答に表示されません。ただし、ナビゲーション用のリンクとしては表示されることがあります。GPTBotは、OpenAIの基盤モデルの学習に使われる可能性のあるコンテンツをクロールします。二つの設定は独立しているため、OAI-SearchBotを許可し、GPTBotを拒否することができます。ChatGPT-Userは、ユーザーがChatGPTに質問したときにページを取得するもので、OpenAIは、こうしたユーザー起点のリクエストにはrobots.txtのルールが適用されない場合があると注記しています。またOpenAIによれば、robots.txtの変更が検索結果に反映されるまでには約24時間かかることがあります。

Perplexityのドキュメントも同様の構成です。PerplexityBotはPerplexityの検索結果にウェブサイトを表示してリンクするためのもので、Perplexityによれば、AI基盤モデル向けのコンテンツのクロールには使われていません。Perplexity-Userはユーザーの質問に応じてページを取得するもので、通常はrobots.txtを無視します。Perplexityはまた、ウェブアプリケーションファイアウォールを導入しているサイト運営者に対し、公開しているIPアドレス範囲を許可リストに登録するよう勧めています。

コンテンツチームの目の届かないところで起きる失敗もあります。スクレイパーを止めるために書かれたファイアウォールやCDNのルールが、誰もそう決めていないのにOAI-SearchBotやPerplexityBotをブロックしてしまうことがあるのです。Google自身のAI機能向けチェックリストにも、robots.txtだけでなく「CDNやホスティング基盤」でもクロールが許可されていることを確認する項目があります。

どの事業者も開示していないこと

ある回答について、システムがどの基準で一つの情報源を他より優先して選ぶのかを公開している事業者はありません。その重み付けを知っていると主張する助言は、推測にすぎません。Googleの最適化ガイドは、Googleの内部ランキングやAIシステムにアクセスできるサードパーティ製ツールは存在しないとし、Googleの内部指標を使っていると主張するツールには注意するようサイト運営者に呼びかけています。

同ガイドはllms.txtにも触れています。llms.txtはllmstxt.orgで公開されている提案で、サイトの概要を厳選して言語モデルに提示し、各ページの簡潔な版へのリンクを示すマークダウンファイルです。Googleは、Google検索はllms.txtやそれに類するAI向けテキストファイルを使用していないと述べています。公開しても、Google検索での可視性やランキングにプラスにもマイナスにもなりません。OpenAIとPerplexityのクローラーに関するドキュメントには、llms.txtへの言及はありません。コーディングエージェントなど、これを読み取るツールのために公開することは考えられますが、ここで取り上げた三つの回答エンジンのいずれについても、これをランキング要因とみなす公開された根拠はありません。

Googleは、AI機能に関してサイト運営者が気にする必要のない、よく知られた手法も挙げています。コンテンツを小さな「チャンク」に分割すること、AIシステム向けにページを書き直すこと、ウェブ上で不自然な言及を集めること、AI向けに特別なschema.orgマークアップを追加することなどです。

エンティティの明確さは自社で管理できる

組織を引用する回答エンジンは、それがどの組織なのかを特定しなければなりません。屋号が正式な法人名と異なり、登記番号がサイトのどこにも記載されておらず、ディレクトリ、ソーシャルプラットフォーム、マーケットプレイスのプロフィールが事業をそれぞれ異なる言葉で説明していると、それは難しくなります。

GoogleのOrganization構造化データに関するドキュメントは、Googleが組織の管理上の詳細を理解し、他の組織と区別するのに役立つマークアップを説明しています。利用できるプロパティには、legalName、他サイトのプロフィールへのsameAsリンク、vatID、taxID、そして接頭辞0199を付けて取引主体識別子(LEI)を記述できるiso6523Codeがあります。必須のプロパティはありません。GoogleのAI機能に関するガイダンスは、二つの留意点を加えています。構造化データはページ上に表示されているテキストと一致していなければならないこと、そして生成AI検索に構造化データは必須ではないことです。その価値は曖昧さを取り除くことにあり、リッチリザルトの対象となるうえでも役立ちます。

作業は地味なものです。正式な法人名、登記番号、登記上の所在地を、プレーンテキストでウェブサイトに記載します。それらを一貫した形でマークアップし、sameAsで自社が管理するプロフィールを示します。Google ビジネス プロフィールと、小売企業であればMerchant Centerの情報を最新の状態に保ちます。Googleは、どちらも商品やサービスがAIによる回答に表示されるのに役立つとしています。

次の四半期に向けた運用チェックリスト

クローラーに関する方針を、意図を持って決めます。OpenAIについては、GPTBotとOAI-SearchBotによって学習用と検索用のアクセスを別々に設定できます。Googleについては、Google-ExtendedトークンがGeminiモデルの学習とグラウンディングへの利用を制御しており、GoogleはこれがGoogle検索への掲載やランキングには影響しないとしています。ユーザーエージェントごとに、決定内容とその理由を記録します。

方針がネットワークの境界で守られているかを検証します。公開されているユーザーエージェントとIPアドレス範囲からのリクエストがブロックされていないか、ファイアウォールとCDNのログを確認し、各事業者が文書化しているトークンを使ってrobots.txtをチェックします。

スニペットの制御は、目的がある場合にのみ使います。Googleは、nosnippet、data-nosnippet、max-snippet、noindexを、AI機能を含む検索でページから表示される内容を制限する制御手段として扱っています。スニペットをブロックしたページは、補足リンクとして表示される対象からも外れます。

測れるものを測ります。Googleは、Search Consoleの検索パフォーマンスレポートの中でAIによる概要とAIモードからのトラフィックを報告しており、生成AIのパフォーマンスレポートも提供しています。他のエンジンでの引用は、決まった質問のセットを決まったスケジュールでサンプリングして追跡し、その結果をランキングではなく観察結果として扱います。

エンジンにとって引用する価値のあるものを提供します。Googleのガイドは、直接の専門知識に基づく「ありふれていない」コンテンツを求めています。実績のある組織にとって、それは通常、すでに保有している具体的な証拠、手法、データを、各ページに著者と日付を明記して公開することを意味します。

支援実績

すべて見る

THEFOCUSとのプロジェクトの始まり方

最初の対話では、お客様の状況を伺います。お役に立てると判断した場合は、より大きなご契約の前に、成果物を定めた範囲限定の診断をご提案します。

相談する
  1. 01

    実務に即した対話

    実際にプロジェクトを率いる担当者と45分間お話しいただきます。意思決定の内容、その背後にあるシステム、期限について伺います。

  2. 02

    範囲を絞った診断

    閲覧のみの権限、固定の期間、書面による所見。記録から何がわかるか、それがどれだけのコストにつながっているか、まず何を変えるべきかをお示しします。

  3. 03

    実行に移せる計画

    変更内容、責任者、評価指標、対象外の事項を書面にまとめます。その後は同じチームが構築と測定を担うか、確実に引き継ぎます。

責任を担うひとつのチーム
診断した担当者が、そのままシステムを構築し、成果を測定します。
課題ごとに選ぶパートナー
必要な部分には独立系の専門家が加わり、契約はひとつにまとめます。
ダッシュボードより先に記録を
提言の根拠とする前に、注文データ、元帳、ログを突合します。

info@thefocus.solutions