Geciteerd worden door AI-antwoordmachines: wat is gedocumenteerd en wat niet

De documentatie van Google Search Central over AI Overviews en AI Mode is helder. Er gelden geen aanvullende eisen om in een van beide functies te verschijnen, en speciale optimalisaties zijn niet nodig. Om als ondersteunende link in aanmerking te komen, moet een pagina geïndexeerd zijn en met een snippet in Google Search kunnen worden getoond. De optimalisatiehandleiding van Google voegt daaraan toe dat een site in Search Console moet zijn opgenomen in de generatieve AI-functies van Search om in aanmerking te komen.

Google beschrijft het mechanisme ook in algemene termen. De functies gebruiken retrieval-augmented generation, dat steunt op de kernsystemen voor rangschikking in Search om pagina's uit de Search-index op te halen, en "query fan-out", waarbij het model verschillende verwante zoekopdrachten over subonderwerpen uitvoert voordat het een antwoord samenstelt. AI Overviews verschijnen alleen wanneer de systemen van Google oordelen dat ze iets toevoegen aan de klassieke resultaten, en volgens Google worden ze vaak niet getoond. AI Mode en AI Overviews kunnen verschillende modellen gebruiken, dus de links die ze bij dezelfde vraag tonen, kunnen verschillen.

In de praktijk rust zichtbaarheid in de AI-functies van Google op dezelfde fundamenten als gewone zichtbaarheid in zoekresultaten. Een pagina die niet kan worden gecrawld, niet kan worden geïndexeerd of geen snippet mag tonen, komt niet in aanmerking.

OpenAI documenteert afzonderlijke crawlers voor afzonderlijke doelen. OAI-SearchBot toont websites in de zoekfuncties van ChatGPT, en sites die hem blokkeren, worden niet getoond in de zoekantwoorden van ChatGPT, al kunnen ze nog wel als navigatielink verschijnen. GPTBot crawlt content die kan worden gebruikt om de foundation models van OpenAI te trainen. De twee instellingen staan los van elkaar, dus een site kan OAI-SearchBot toestaan en GPTBot weigeren. ChatGPT-User haalt pagina's op wanneer een gebruiker ChatGPT een vraag stelt, en OpenAI merkt op dat regels in robots.txt mogelijk niet gelden voor die door gebruikers gestarte verzoeken. Volgens OpenAI kan het ongeveer 24 uur duren voordat een wijziging in robots.txt effect heeft op de zoekresultaten.

De documentatie van Perplexity volgt een vergelijkbaar patroon. PerplexityBot toont en linkt websites in de zoekresultaten van Perplexity en wordt volgens Perplexity niet gebruikt om content te crawlen voor AI-foundation models. Perplexity-User haalt pagina's op naar aanleiding van vragen van gebruikers en negeert robots.txt doorgaans. Perplexity raadt site-eigenaren achter een web application firewall bovendien aan de gepubliceerde IP-bereiken op een allowlist te zetten.

Eén faalscenario ligt buiten het zicht van het contentteam. Een firewall- of CDN-regel die is geschreven om scrapers tegen te houden, kan OAI-SearchBot of PerplexityBot blokkeren zonder dat iemand daartoe heeft besloten. De eigen checklist van Google voor AI-functies vraagt om te controleren dat crawlen is toegestaan "door elke CDN- of hostinginfrastructuur", en ook in robots.txt.

Geen enkele aanbieder publiceert de criteria waarmee zijn systeem voor een bepaald antwoord de ene bron boven de andere kiest. Adviezen die beweren die gewichten te kennen, zijn afleidingen. De optimalisatiehandleiding van Google zegt dat geen enkele tool van derden toegang heeft tot de interne rangschikkings- of AI-systemen van Google, en raadt site-eigenaren aan op hun hoede te zijn voor tools die beweren interne statistieken van Google te gebruiken.

De handleiding gaat ook in op llms.txt. llms.txt is een voorstel, gepubliceerd op llmstxt.org, voor een markdownbestand dat taalmodellen een samengesteld overzicht van een site geeft, met links naar opgeschoonde versies van de pagina's. Google zegt dat Google Search llms.txt en vergelijkbare AI-tekstbestanden niet gebruikt. Er een publiceren helpt noch schaadt de zichtbaarheid of rangschikking in Google Search. De crawlerdocumentatie van OpenAI en Perplexity noemt het niet. Een site kan er nog steeds een publiceren voor coding agents of andere tools die het lezen, maar er is geen gepubliceerde grond om het te behandelen als rankingfactor voor een van de drie antwoordmachines die hier worden besproken.

Google noemt nog andere populaire tactieken die site-eigenaren volgens Google voor zijn AI-functies kunnen negeren. Daaronder vallen content opknippen in kleine "chunks", pagina's speciaal voor AI-systemen herschrijven, achter onechte vermeldingen op het web aan jagen en speciale schema.org-markup voor AI toevoegen.

Een antwoordmachine die een organisatie citeert, moet uitzoeken om welke organisatie het gaat. Dat wordt moeilijker wanneer de handelsnaam afwijkt van de juridische naam, het registratienummer nergens op de site staat, en profielen in bedrijvengidsen, op sociale platforms en op marktplaatsen het bedrijf in verschillende bewoordingen beschrijven.

De documentatie van Google over gestructureerde data voor Organization beschrijft markup die Google helpt de administratieve gegevens van een organisatie te begrijpen en haar van andere te onderscheiden. De beschikbare eigenschappen zijn onder meer legalName, sameAs-links naar profielen op andere sites, vatID, taxID en iso6523Code, die een Legal Entity Identifier met het voorvoegsel 0199 kan bevatten. Geen van de eigenschappen is verplicht. De richtlijnen van Google voor AI-functies voegen twee kanttekeningen toe. Gestructureerde data moeten overeenkomen met de zichtbare tekst op de pagina, en gestructureerde data zijn niet vereist voor generatief AI-zoeken. De waarde ervan ligt in het wegnemen van onduidelijkheid, en ze helpen om in aanmerking te komen voor uitgebreide resultaten.

Het werk is weinig spectaculair. Zet de juridische naam, het registratienummer en het statutair adres in platte tekst op de website. Markeer ze consistent op en laat sameAs verwijzen naar de profielen die u beheert. Houd Google Bedrijfsprofiel en, voor retailers, de gegevens in Merchant Center actueel. Volgens Google kunnen beide helpen om producten en diensten in de AI-antwoorden van Google te laten verschijnen.

Bepaal het crawlerbeleid bewust. Toegang voor training en voor zoeken kan bij OpenAI afzonderlijk worden ingesteld via GPTBot en OAI-SearchBot. Bij Google regelt het token Google-Extended het gebruik voor de training en grounding van Gemini-modellen, en volgens Google heeft het geen invloed op opname of rangschikking in Google Search. Leg de beslissing en de reden per user agent vast.

Test of het beleid aan de rand van het netwerk standhoudt. Controleer de logboeken van firewall en CDN op geblokkeerde verzoeken van de gepubliceerde user agents en IP-bereiken, en toets robots.txt aan de gedocumenteerde tokens van elke aanbieder.

Gebruik snippetinstellingen alleen waar ze een doel dienen. Google behandelt nosnippet, data-nosnippet, max-snippet en noindex als de instellingen die beperken wat er van een pagina in Search verschijnt, inclusief de AI-functies. Een pagina die snippets blokkeert, sluit zichzelf ook uit als ondersteunende link.

Meet wat meetbaar is. Google rapporteert verkeer uit AI Overviews en AI Mode in het prestatierapport van Search Console en biedt een prestatierapport voor generatieve AI. Volg citaties in andere machines door een vaste set vragen volgens een vast schema te steekproeven, en behandel de uitkomsten als waarnemingen en niet als rangschikking.

Geef de machines iets wat het citeren waard is. De handleiding van Google vraagt om content die geen gemeengoed is en op eigen deskundigheid berust. Voor een gevestigde organisatie betekent dat meestal het publiceren van het specifieke bewijs, de methoden en de data die zij al heeft, met auteur en datum op elke pagina.