Agentic commerce
Wat is het verschil tussen GPTBot, OAI-SearchBot en ChatGPT-User?
Bijgewerkt op
Het zijn drie OpenAI agents die verschillende taken uitvoeren. GPTBot verzamelt content voor modeltraining — het blokkeren ervan kost niets in zoekrangschikkingen of zichtbaarheid in AI-antwoorden. OAI-SearchBot bouwt de zoekindex waar ChatGPT antwoorden uit haalt — het blokkeren ervan verwijdert je uit AI-antwoorden. ChatGPT-User is een live ophaalactie die wordt gedaan namens een specifieke persoon die nu naar je vraagt — het blokkeren ervan wijst een klant midden in een vraag af. Een handelaar zou hooguit de eerste moeten blokkeren.
De namen zijn het probleem
Alle drie behoren ze tot OpenAI, alle drie verschijnen ze in je logs als OpenAI verkeer, en hun namen geven bijna geen aanwijzing welke welke is. Dat is niet zozeer kritiek op de naamgeving als wel een verklaring waarom de duurste fout op dit gebied eerder een ongeluk dan een beslissing is.
Een regel geschreven om "OpenAI te blokkeren" — het intuïtieve om te schrijven — vangt alle drie. De intentie is meestal om je af te melden voor modeltraining. Het effect omvat het afmelden voor ChatGPT zoekresultaten en het weigeren van live klantopzoekingen.
| User-agent | Wat het doet | Wat het blokkeren je kost |
|---|---|---|
| GPTBot | Crawlt content in trainingscorpora voor toekomstige modellen | Niets in rangschikkingen of zichtbaarheid in AI-antwoorden. Een legitieme commerciële keuze. |
| OAI-SearchBot | Bouwt de index waar ChatGPT zoekantwoorden uit haalt | Je aanwezigheid in ChatGPT antwoorden. Dit is de dure. |
| ChatGPT-User | Haalt een pagina live op omdat een specifieke gebruiker ernaar vroeg | Een echt persoon, midden in een vraag, die naar jou werd verwezen. |
Waarom het blokkeren van GPTBot echt gratis is
Dit verrast mensen, dus het is de moeite waard om expliciet te zijn. Training crawlers hebben geen invloed op Google Zoekrangschikkingen — Google gebruikt de crawl van OpenAI niet — en geen invloed op of ChatGPT je in zoekresultaten toont, omdat dat afkomstig is van een andere index die door een andere agent is gebouwd.
Wat je verliest door GPTBot te blokkeren is moeilijker te meten: toekomstige modellen weten mogelijk minder over je merk doordat ze er minder over hebben gelezen. Of dat ertoe doet, hangt af van of je liever wordt beschreven vanuit je eigen woorden of vanuit berichtgeving van derden. Beide zijn verdedigbaar. Geen van beide kost je een rangschikking.
Een robots.txt die de werkelijke intentie weerspiegelt
Als je intentie is "train niet op mijn content, maar toon me wel", dan benoemen de regels die dit uitdrukken elke agent expliciet in plaats van te vertrouwen op een patroon.
- Disallow GPTBot als je je wilt afmelden voor training. Overweeg ook CCBot, Bytespider, Google-Extended en Applebot-Extended, dit zijn de equivalente training crawlers van andere operators.
- Allow OAI-SearchBot, PerplexityBot, Claude-SearchBot en DuckAssistBot. Dit zijn de antwoord-engines.
- Allow ChatGPT-User en Perplexity-User. Dit zijn live ophaalacties namens een persoon.
- Vertrouw niet op een wildcard-regel om dit alles uit te drukken. Een `User-agent: *` disallow die je bedoelde voor scrapers zal van toepassing zijn op al het bovenstaande.
- Let op opeenvolgende User-agent regels. Verschillende agents die samen worden vermeld vóór één Disallow delen die regel — zo worden GPTBot en OAI-SearchBot geblokkeerd door een regel die iemand voor één van hen schreef.
Controleer de CDN, niet alleen het bestand
De regel die je kunt lezen is zelden waar de blokkering zich bevindt. Toen we dertig bekende DTC-merken controleerden, blokkeerde geen enkele antwoord-engines in robots.txt — maar vier weigerden een geïdentificeerde crawler ronduit met een 403 of 429, en drie konden helemaal geen verbinding maken.
Die beslissing zit in een bot-management regelsset bij de CDN of WAF, meestal toegevoegd door iemand die de oorsprong beschermt tegen scrapers lang voordat AI-verwijzingsverkeer een overweging was. Het verschijnt niet in een robots.txt audit, en de persoon die het ontbrekende verkeer zou opmerken, heeft geen inzicht in de console waar het was geconfigureerd.
De vraag die de moeite waard is om te stellen aan degene die je edge beheert, is specifiek en heeft een definitief antwoord: staan OAI-SearchBot, PerplexityBot en ChatGPT-User op de allowlist?
Veelgestelde vragen
- Schaadt het blokkeren van GPTBot mijn SEO?
- Nee. GPTBot is een model-training crawler en heeft geen effect op Google Zoekrangschikkingen of op of ChatGPT je in zoekresultaten toont. Die komen respectievelijk van Googlebot en OAI-SearchBot — totaal verschillende agents.
- Als ik GPTBot blokkeer, zal ChatGPT mijn producten dan nog steeds vinden?
- Ja, mits OAI-SearchBot en ChatGPT-User zijn toegestaan. ChatGPT zoeken is gebouwd vanuit een aparte index en live ophaalacties, waarvan geen van beide afhankelijk is van training crawls.
- Welke verschijnt er als iemand ChatGPT naar mijn merk vraagt?
- Meestal ChatGPT-User, die je pagina live ophaalt voor die specifieke vraag, en OAI-SearchBot voor wat al geïndexeerd was. Als je ChatGPT-User in je logs ziet, vraagt een echt persoon op dat moment naar jou.
- Is er een equivalente splitsing voor andere AI-bedrijven?
- Ja, en het volgt hetzelfde patroon. Anthropic gebruikt ClaudeBot voor training en Claude-SearchBot voor zoeken; Perplexity gebruikt PerplexityBot voor indexering en Perplexity-User voor live ophaalacties; Google scheidt Google-Extended (training) van de gewone Googlebot. Het patroon is consistent genoeg om er een beleid omheen te schrijven.