Moet een e-commercewinkel AI-crawlers blokkeren in robots.txt?

Het meeste advies hierover is geschreven voor uitgevers

De argumenten voor het blokkeren van AI-crawlers werden geformuleerd door en voor uitgevers, en op zichzelf is het een sterk argument: als uw product de tekst is, concurreert een model dat op die tekst is getraind met u, en geeft u de inventaris gratis weg.

Een handelaar bevindt zich in de tegenovergestelde positie. Uw product is een product. De tekst op uw site bestaat om het te verkopen. Het blokkeren van de crawlers die dat product zouden tonen aan een shopper die precies beschreef wat hij wilde, is geen bescherming van een activa — het is het weigeren van een kanaal om een verkooppagina te beschermen.

Dat is waarom het toepassen van uitgeversadvies op een winkel consequent het verkeerde antwoord oplevert, en waarom de vraag die de moeite waard is om te stellen niet "blokkeren of toestaan" is, maar "welke van de drie, en waarvoor".

Drie crawlers, drie verschillende deals

"AI-crawler" benoemt drie verschillende dingen. Ze komen van dezelfde bedrijven, soms via dezelfde infrastructuur, en ze willen totaal verschillende dingen van u.

• De namen zijn opzettelijk verwarrend: GPTBot traint, OAI-SearchBot indexeert voor antwoorden, ChatGPT-User is de assistent van een persoon die uw pagina ophaalt. Alle drie zijn van OpenAI.
• Een regel die is geschreven om "OpenAI" te blokkeren en die alle drie vangt, is de meest voorkomende manier waarop een handelaar onbedoeld AI-zichtbaarheid verliest.

De fout is meestal een ongeluk, en meestal niet in robots.txt

Ongeveer een kwart van de B2B SaaS- en e-commerce sites blokkeert onbedoeld belangrijke LLM-crawlers. Het meest genoemde voorbeeld is OAI-SearchBot, en het heeft ook een van de grootste impact.

De reden dat het onopgemerkt blijft, is dat het vaak helemaal niet in robots.txt staat. Het is een bot-managementregel op het CDN, ingeschakeld als een verstandig klinkende standaard door iemand die de oorsprong beschermt tegen scrapers, maanden voordat iemand nadacht over AI-verwijzingsverkeer. Niemand bewerkt een bestand, dus niemand herinnert zich het gedaan te hebben.

Dit is de moeite waard om direct te controleren in plaats van aan te nemen, omdat de storing volledig stil is: er is geen fout, geen daling in een dashboard dat u al bekijkt, alleen een afwezigheid van een kanaal dat u niet kunt zien.

Een beleid dat daadwerkelijk verdedigbaar is

De versie waar de meeste handelaren op zouden moeten uitkomen, geformuleerd als regels in plaats van principes.

• Sta antwoordengine-crawlers onvoorwaardelijk toe. OAI-SearchBot, PerplexityBot, Claude-SearchBot, DuckAssistBot. Dit zijn het kanaal.
• Sta live agent-ophalingen onvoorwaardelijk toe. ChatGPT-User en Perplexity-User zijn een klant, die met intentie arriveert, via een andere voordeur.
• Beslis bewust over trainingscrawlers. GPTBot, ClaudeBot, CCBot, Google-Extended. Het blokkeren ervan is gratis qua rankingkosten; het toestaan ervan kan modellen helpen uw merk te kennen. Beide antwoorden zijn verdedigbaar — een onbedoeld antwoord niet.
• Noem agents individueel in plaats van te vertrouwen op een wildcard. Een brede regel is hoe de drie klassen worden samengevoegd.
• Controleer het CDN en robots.txt. Daar bevinden zich de onbedoelde blokkades.
• Onthoud dat robots.txt vrijwillig is. Het wordt gerespecteerd door de bedrijven wier verkeer u wilt en genegeerd door de scrapers waar u zich zorgen over maakt, dus het is een slecht hulpmiddel voor het misbruikprobleem en een precies hulpmiddel voor het zichtbaarheidsprobleem.

Wat blokkeren niet oplost

Als de werkelijke zorg scraping-belasting of prijsoogst is, is robots.txt het verkeerde instrument — de operators die dat probleem veroorzaken, lezen het niet. Rate limiting, botbeheer en authenticatie zijn de tools die daar werken, en ze kunnen worden toegepast zonder de crawlers aan te raken die u vraag brengen.

En de beperking op agent-gegenereerde inkomsten voor de meeste handelaren is helemaal geen toegang. Adobe mat dat retailproductpagina's 66% scoorden op machineleesbaarheid, het laagste van elk paginatype, terwijl AI-gegenereerd verkeer naar die sites jaar op jaar met 393% groeide. Veel meer handelaren zijn onzichtbaar omdat hun prijs pas bestaat nadat JavaScript is uitgevoerd, dan omdat ze iemand hebben geblokkeerd.

U kunt beide tegelijk controleren: onze gratis checker haalt uw pagina op zonder JavaScript, en leest uw robots.txt om te rapporteren welke van de drie crawlerklassen u daadwerkelijk blokkeert.