Agentic commerce
Heeft het blokkeren van AI-crawlers invloed op je Google-rankings?
Bijgewerkt op
Het blokkeren van model-trainingscrawlers zoals GPTBot, ClaudeBot en CCBot heeft geen effect op de Google Zoekresultaten-rankings. Google gebruikt die crawls niet; de index komt van Googlebot, een andere agent. Wat blokkeren je wel kan kosten, is aanwezigheid in AI-antwoorden, en alleen als je de verkeerde klasse blokkeert — antwoord-engine crawlers zoals OAI-SearchBot en PerplexityBot. Die twee uitkomsten worden vaak door elkaar gehaald, en ze door elkaar halen is hoe een beslissing over een trainingscrawler per ongeluk een merk verwijdert uit een groeiend verwijzingskanaal.
Twee indexen, twee crawlers, één veelvoorkomende fout
Google Zoeken rangschikt wat Googlebot heeft gecrawld. OpenAI's trainingscorpus is wat GPTBot heeft gecrawld. ChatGPT zoekantwoorden komen van wat OAI-SearchBot heeft geïndexeerd. Dit zijn afzonderlijke crawls die afzonderlijke systemen voeden, en het blokkeren van de ene heeft geen invloed op de andere.
Dus "zal het blokkeren van AI-crawlers mijn SEO schaden" heeft een duidelijk antwoord voor de klassieke betekenis van SEO: nee. Verbied GPTBot en je Google-rankings blijven onaangetast, omdat Google die crawl nooit heeft gelezen.
De vraag die mensen meestal bedoelen, is echter breder — zal het me verkeer kosten. Daar hangt het antwoord volledig af van welke agent de regel vangt, en de namen maken het gemakkelijk om dat verkeerd te begrijpen.
| Dit blokkeren | Google-rankings | Zichtbaarheid in AI-antwoorden |
|---|---|---|
| GPTBot, ClaudeBot, CCBot (training) | Geen effect | Geen effect |
| Google-Extended (Google training) | Geen effect | Geen effect op Zoeken; beïnvloedt AI-trainingsgebruik |
| OAI-SearchBot, PerplexityBot (antwoord-engines) | Geen effect | Verwijdert je uit die antwoorden |
| ChatGPT-User, Perplexity-User (live ophalen) | Geen effect | Blokkeert een live klantopzoeking |
| Googlebot | Deïndexeert je | Indirect |
Wat de gemeten gegevens zeggen
Blokkeren komt minder vaak voor dan de discussie doet vermoeden. Een peer-reviewed studie uit 2025 van 40.455 consistent populaire websites vond dat ruwweg 8–10% minstens één AI-crawler volledig blokkeerde, oplopend tot 12–14% onder de grootste sites — en de meest frequent beperkte waren GPTBot en CCBot, wat trainingscrawlers zijn. Dat is de weloverwogen, kosteloze keuze in plaats van de dure fout.
In onze eigen steekproef van 147 DTC-merken blokkeerden twee van degenen die robots.txt aanboden antwoord-engines en zes blokkeerden trainingscrawlers, waarbij de geblokkeerde set per merk varieerde in plaats van een sjabloon te volgen. Een aparte momentopname van 15 grote retailers vond dat alleen Amazon en eBay überhaupt AI-crawlers beperkten.
Drie steekproeven, drie methoden, dezelfde vorm: waar blokkering plaatsvindt, is deze meestal gericht op training, en meestal opzettelijk.
De manier van falen die je wel geld kost
Niet robots.txt. In onze studie weigerden vier van de dertig merken een geïdentificeerde crawler ronduit met een 403 of 429, en drie konden geen verbinding maken — niets hiervan verschijnt in een robots.txt-audit, omdat de beslissing zich bevindt in een bot-management regelsset bij de CDN.
Dat is waar de dure versie hiervan gebeurt: iemand die de oorsprong beschermt tegen scrapers voegt jaren voordat AI-verwijzingsverkeer een overweging is een regel toe, en niemand die het ontbrekende verkeer zou opmerken, heeft toegang tot de console waar het is ingesteld.
Als je een echt antwoord wilt over je eigen site, lees dan het CDN-logboek in plaats van het bestand. Een oorsprongslogboek dat geen OAI-SearchBot toont en een CDN-logboek dat OAI-SearchBot 403's ontvangt, zijn totaal verschillende problemen, en alleen de tweede is aan jou om op te lossen.
Veelgestelde vragen
- Zal het blokkeren van GPTBot mijn Google-verkeer verminderen?
- Nee. Google Zoeken rangschikt wat Googlebot heeft gecrawld; GPTBot voedt OpenAI's trainingscorpus en is geen input voor Google's index. De twee zijn ongerelateerde systemen.
- Heeft het blokkeren van Google-Extended invloed op mijn Google-rankings?
- Nee. Google-Extended bepaalt of je content wordt gebruikt voor Google's generatieve AI-training, en Google heeft verklaard dat het geen ranking-signaal is voor Zoeken. Het is een aparte beslissing van Googlebot-toegang.
- Wat is dan het werkelijke risico van een restrictieve robots.txt?
- Antwoord-engine crawlers of live agent-ophalingen vangen in een regel die je hebt geschreven voor trainingscrawlers of scrapers. Dat verwijdert je uit AI-antwoorden, wat een groeiend verwijzingskanaal is waar verkeer aantoonbaar beter converteert dan niet-AI-bronnen.
- Hoe controleer ik wat ik werkelijk blokkeer?
- Lees robots.txt en je CDN- of WAF-botregels, want de meeste accidentele blokkades bevinden zich in de tweede en niet in de eerste. Onze gratis checker leest robots.txt en rapporteert trainings-, antwoord-engine en live-agent crawlers afzonderlijk; niets externs kan je CDN-regels zien.