Sollte ein E-Commerce-Shop AI-Crawler in robots.txt blockieren?

Die meisten Ratschläge dazu sind für Publisher geschrieben

Das Argument für das Blockieren von AI-Crawlern wurde von und für Publisher gemacht, und für sich genommen ist es ein starkes Argument: Wenn Ihr Produkt der Text ist, konkurriert ein auf diesem Text trainiertes Modell mit Ihnen, und Sie geben das Inventar kostenlos ab.

Ein Händler befindet sich in der entgegengesetzten Position. Ihr Produkt ist ein Produkt. Der Text auf Ihrer Website dient dazu, es zu verkaufen. Das Blockieren der Crawler, die dieses Produkt einem Käufer präsentieren würden, der genau beschrieben hat, was er wollte, schützt keinen Vermögenswert – es lehnt einen Kanal ab, um eine Verkaufsseite zu schützen.

Deshalb führt die Anwendung von Publisher-Ratschlägen auf einen Shop konsequent zur falschen Antwort, und deshalb ist die Frage, die es sich zu stellen lohnt, nicht „blockieren oder zulassen“, sondern „welche der drei, und wofür“.

Drei Crawler, drei verschiedene Angebote

„AI-Crawler“ bezeichnet drei unterschiedliche Dinge. Sie kommen von denselben Unternehmen, manchmal über dieselbe Infrastruktur, und sie wollen völlig unterschiedliche Dinge von Ihnen.

• Die Namen sind bewusst verwechselbar: GPTBot trainiert, OAI-SearchBot indiziert für Antworten, ChatGPT-User ist der Assistent einer Person, der Ihre Seite abruft. Alle drei sind OpenAI.
• Eine Regel, die geschrieben wurde, um „OpenAI“ zu blockieren und alle drei erfasst, ist die häufigste Art und Weise, wie ein Händler unbeabsichtigt AI-Sichtbarkeit verliert.

Der Fehler ist meist ein Versehen und befindet sich normalerweise nicht in robots.txt

Etwa ein Viertel der B2B-SaaS- und E-Commerce-Websites blockiert große LLM-Crawler unbeabsichtigt. Das am häufigsten genannte Beispiel ist OAI-SearchBot, und es gehört auch zu den wirkungsvollsten.

Der Grund, warum dies unbemerkt bleibt, ist, dass es häufig überhaupt nicht in robots.txt steht. Es ist eine Bot-Management-Regel beim CDN, die als vernünftig klingende Standardeinstellung von jemandem aktiviert wurde, der den Ursprung vor Scrapern schützt, Monate bevor jemand über AI-Empfehlungsverkehr nachdachte. Niemand bearbeitet eine Datei, also erinnert sich niemand daran, es getan zu haben.

Dies sollte direkt überprüft werden, anstatt es anzunehmen, denn der Fehler ist völlig still: Es gibt keinen Fehler, keinen Rückgang in einem Dashboard, das Sie bereits beobachten, nur eine Abwesenheit von einem Kanal, den Sie nicht sehen können.

Eine tatsächlich vertretbare Richtlinie

Die Version, auf die sich die meisten Händler einigen sollten, als Regeln statt als Prinzipien formuliert.

• Erlauben Sie Antwort-Engine-Crawlern bedingungslos. OAI-SearchBot, PerplexityBot, Claude-SearchBot, DuckAssistBot. Dies sind der Kanal.
• Erlauben Sie Live-Agent-Abrufe bedingungslos. ChatGPT-User und Perplexity-User sind ein Kunde, der mit Absicht durch eine andere Vordertür kommt.
• Entscheiden Sie sich bewusst für Trainings-Crawler. GPTBot, ClaudeBot, CCBot, Google-Extended. Das Blockieren kostet keine Ranking-Punkte; das Zulassen kann Modellen helfen, Ihre Marke zu kennen. Beide Antworten sind vertretbar – eine versehentliche nicht.
• Nennen Sie Agenten einzeln, anstatt sich auf einen Wildcard zu verlassen. Eine breite Regel führt dazu, dass die drei Klassen vermischt werden.
• Überprüfen Sie das CDN sowie robots.txt. Dort befinden sich die versehentlichen Blockierungen.
• Denken Sie daran, dass robots.txt freiwillig ist. Es wird von den Unternehmen respektiert, deren Traffic Sie wünschen, und von den Scrapern ignoriert, über die Sie sich Sorgen machen. Daher ist es ein schlechtes Werkzeug für das Missbrauchsproblem und ein präzises für das Sichtbarkeitsproblem.

Was das Blockieren nicht löst

Wenn das eigentliche Problem die Scraping-Last oder das Preis-Harvesting ist, ist robots.txt das falsche Instrument – die Betreiber, die dieses Problem verursachen, lesen es nicht. Ratenbegrenzung, Bot-Management und Authentifizierung sind die Werkzeuge, die dort funktionieren, und sie können angewendet werden, ohne die Crawler zu berühren, die Ihnen Nachfrage bringen.

Und die Einschränkung des durch Agenten generierten Umsatzes ist für die meisten Händler überhaupt nicht der Zugang. Adobe maß, dass Einzelhandelsproduktseiten bei der maschinellen Lesbarkeit 66% erreichten, der niedrigste Wert aller Seitentypen, während der AI-generierte Traffic zu diesen Websites im Jahresvergleich um 393% wuchs. Weitaus mehr Händler sind unsichtbar, weil ihr Preis erst nach Ausführung von JavaScript existiert, als weil sie jemanden blockiert haben.

Sie können beides gleichzeitig überprüfen: Unser kostenloser Checker ruft Ihre Seite ohne JavaScript ab und liest Ihre robots.txt, um zu melden, welche der drei Crawler-Klassen Sie tatsächlich blockieren.