Agentic commerce
Hoe controleer je of AI-crawlers je site bezoeken?
Bijgewerkt op
Zoek in je toegangslogs naar de user-agent strings van de drie crawlertypes en tel ze afzonderlijk: trainingscrawlers (GPTBot, ClaudeBot, CCBot, Bytespider), antwoordengines (OAI-SearchBot, PerplexityBot, Claude-SearchBot) en live agent-verzoeken (ChatGPT-User, Perplexity-User). Nul hits van antwoordengines gedurende een week is de bevinding die telt — het betekent bijna altijd dat een CDN- of WAF-regel ze weigert voordat je origin de aanvraag ooit logt.
Waar je op moet zoeken
Tel de drie klassen afzonderlijk. Een enkel totaal vertelt je niets nuttigs, omdat de klassen tegenovergestelde implicaties hebben: trainingscrawls zijn neutraal, antwoordengine-crawls zijn hoe je zichtbaar wordt, en live agent-verzoeken betekenen dat een persoon nu naar je vraagt.
- Training: GPTBot, ClaudeBot, CCBot, Bytespider, Google-Extended, Applebot-Extended, meta-externalagent
- Antwoordengines: OAI-SearchBot, PerplexityBot, Claude-SearchBot, DuckAssistBot
- Live agent-verzoeken: ChatGPT-User, Perplexity-User
Waar te zoeken, in volgorde van bruikbaarheid
Je origin-toegangslog is de voor de hand liggende plek en de minst betrouwbare, omdat alles wat aan de rand wordt geblokkeerd het nooit bereikt. Controleer eerst de CDN-log als je die hebt — Cloudflare, Fastly, CloudFront en Akamai tonen allemaal aanvraaglogs met user-agent, en cruciaal is dat ze zowel geweigerde als afgehandelde aanvragen laten zien.
Dat verschil is het hele punt van de oefening. Een origin-log die geen OAI-SearchBot-verkeer toont en een CDN-log die OAI-SearchBot 403s laat ontvangen, beschrijven compleet verschillende problemen, en alleen de tweede is door jou aan te pakken.
Het resultaat lezen
Drie patronen, drie conclusies.
| Wat je ziet | Wat het betekent | Wat te doen |
|---|---|---|
| Antwoordengines crawlen, 200s | Je bent bereikbaar. Of je wordt geciteerd, hangt af van je content en machineleesbaarheid. | Controleer wat ze daadwerkelijk kunnen parsen — prijs en beschikbaarheid in ruwe HTML. |
| Antwoordengines krijgen 403 of 429 | Een bot-managementregel weigert ze. Dit is het veelvoorkomende geval en het is onzichtbaar in robots.txt. | Zet ze op de allowlist bij de CDN. Niets anders wat je doet, is van belang totdat dit is opgelost. |
| Helemaal geen aanvragen van antwoordengines | Of ze werden geweigerd voordat je origin iets logde, of de site bevindt zich nog niet in hun crawl-frontier. | Controleer de CDN-log. Als die daar ook schoon is, is het probleem ontdekking — sitemap, links, indexering. |
Verifieer in plaats van de user-agent te vertrouwen
Een user-agent string is zelfgerapporteerd en eenvoudig te vervalsen, dus een log vol met 'GPTBot'-hits is geen bewijs dat OpenAI heeft bezocht. Scrapers doen zich voor als gerenommeerde crawlers juist omdat zoveel sites ze op de allowlist zetten.
De operators publiceren IP-bereiken voor hun crawlers, en een reverse DNS-lookup op het aanvragende IP is de standaardcontrole. Dit is het belangrijkst wanneer je beslist of de crawl-belasting een blokkering rechtvaardigt: het beperken van een vervalste GPTBot is prima, en het beperken van de echte is een beleidsbeslissing die je weloverwogen moet nemen.
De andere helft van het plaatje
Loganalyse vertelt je of crawlers je kunnen bereiken. Het vertelt je niet of wat ze vonden parseerbaar was — en de tweede kloof is breder in de hele branche. Adobe mat dat productpagina's van retailers 66% scoorden op machineleesbaarheid, het laagste van elk paginatype.
Onze gratis checker dekt die helft: het haalt een pagina op zonder JavaScript uit te voeren en rapporteert wat een agent daadwerkelijk kan lezen, en het leest je robots.txt en rapporteert de drie crawlertypes afzonderlijk. Het kan je CDN-regels niet zien — niets externs kan dat, daarom is de bovenstaande logcontrole de moeite waard om handmatig uit te voeren.
Veelgestelde vragen
- Hoe vaak moeten AI-crawlers bezoeken?
- Er is geen benchmark die het waard is om te citeren, omdat het enorm varieert met de sitegrootte, updatefrequentie en bestaande autoriteit. Het signaal om op te reageren is niet de frequentie, maar de statuscodes: aanvragen van antwoordengines die 403s ontvangen, is een probleem bij elk volume, en nul aanvragen gedurende een week is het onderzoeken waard.
- Ik zie helemaal geen AI-crawlertraffic. Is mijn site geblokkeerd?
- Controleer de CDN-log voordat je iets concludeert. Aanvragen die aan de rand worden geweigerd, bereiken je origin nooit, dus een lege origin-log ziet er identiek uit, of je nu wordt geblokkeerd of simpelweg niet bent ontdekt. Die vereisen tegenovergestelde oplossingen.
- Kan ik de user-agent string vertrouwen?
- Nee — het is zelfgerapporteerd en wordt vaak vervalst, juist omdat gerenommeerde crawlernamen op de allowlist komen. Verifieer aan de hand van de gepubliceerde IP-bereiken van de operator of via reverse DNS op het aanvragende adres voordat je een beslissing neemt op basis van volume.
- Betekent ChatGPT-User verkeer dat iemand iets koopt?
- Het betekent dat iemand een assistent een vraag stelde die ertoe leidde dat deze op dat moment jouw pagina voor hen ophaalde. Het is het dichtst bij een live intentiesignaal in deze hele categorie, en het is de moeite waard om het te scheiden van indexeringsverkeer in elk rapport dat je opstelt.
Bronnen
- AI-verkeer groeit, maar retailsites blijven achter in AI-zoekzichtbaarheid (Q1 2026) — Adobe Digital Insights