Agentic Commerce
Was ist der Unterschied zwischen GPTBot, OAI-SearchBot und ChatGPT-User?
Aktualisiert am
Es sind drei OpenAI-Agenten, die unterschiedliche Aufgaben erfüllen. GPTBot sammelt Inhalte für das Modelltraining – das Blockieren kostet nichts bei Suchrankings oder der Sichtbarkeit von KI-Antworten. OAI-SearchBot erstellt den Suchindex, aus dem ChatGPT antwortet – das Blockieren entfernt Sie aus den KI-Antworten. ChatGPT-User ist ein Live-Abruf, der im Auftrag einer bestimmten Person erfolgt, die gerade nach Ihnen fragt – das Blockieren weist einen Kunden mitten in einer Frage ab. Ein Händler sollte höchstens den ersten blockieren.
Die Namen sind das Problem
Alle drei gehören zu OpenAI, alle drei erscheinen in Ihren Logs als OpenAI-Traffic, und ihre Namen geben fast keinen Hinweis darauf, welcher welcher ist. Das ist weniger eine Kritik an der Namensgebung als vielmehr eine Erklärung, warum der teuerste Fehler in diesem Bereich eher ein Unfall als eine bewusste Entscheidung ist.
Eine Regel, die geschrieben wurde, um „OpenAI zu blockieren“ – das Naheliegendste – erfasst alle drei. Die Absicht ist normalerweise, sich vom Modelltraining abzumelden. Die Wirkung umfasst das Abmelden von ChatGPT-Suchergebnissen und das Ablehnen von Live-Kundenanfragen.
| User-agent | Was er tut | Das Blockieren kostet Sie |
|---|---|---|
| GPTBot | Durchsucht Inhalte für Trainingskorpora zukünftiger Modelle | Nichts bei Rankings oder der Sichtbarkeit von KI-Antworten. Eine legitime geschäftliche Entscheidung. |
| OAI-SearchBot | Erstellt den Index, aus dem ChatGPT-Suchantworten stammen | Ihre Präsenz in ChatGPT-Antworten. Das ist der teure. |
| ChatGPT-User | Ruft eine Seite live ab, weil ein bestimmter Benutzer danach gefragt hat | Eine echte Person, mitten in einer Frage, die auf Sie verwiesen wurde. |
Warum das Blockieren von GPTBot wirklich kostenlos ist
Das überrascht viele, daher lohnt es sich, explizit zu sein. Trainings-Crawler haben keinen Einfluss auf Google-Suchrankings – Google verwendet den Crawl von OpenAI nicht – und auch keinen Einfluss darauf, ob ChatGPT Sie in der Suche anzeigt, da dies von einem anderen Index stammt, der von einem anderen Agenten erstellt wurde.
Was Sie durch das Blockieren von GPTBot verlieren, ist schwerer zu messen: Zukünftige Modelle könnten weniger über Ihre Marke wissen, da sie weniger davon gelesen haben. Ob das wichtig ist, hängt davon ab, ob Sie lieber mit Ihren eigenen Worten oder durch Berichterstattung Dritter beschrieben werden möchten. Beides ist vertretbar. Keines kostet Sie ein Ranking.
Eine robots.txt, die die tatsächliche Absicht widerspiegelt
Wenn Ihre Absicht ist, „nicht mit meinen Inhalten zu trainieren, mich aber anzuzeigen“, benennen die Regeln, die dies ausdrücken, jeden Agenten explizit, anstatt sich auf ein Muster zu verlassen.
- Disallow GPTBot, wenn Sie sich vom Training abmelden möchten. Berücksichtigen Sie auch CCBot, Bytespider, Google-Extended und Applebot-Extended, die die entsprechenden Trainings-Crawler anderer Betreiber sind.
- Allow OAI-SearchBot, PerplexityBot, Claude-SearchBot und DuckAssistBot. Dies sind die Antwort-Engines.
- Allow ChatGPT-User und Perplexity-User. Dies sind Live-Abrufe im Auftrag einer Person.
- Verlassen Sie sich nicht auf eine Wildcard-Regel, um dies auszudrücken. Ein `User-agent: *` Disallow, das Sie für Scraper vorgesehen haben, gilt für alle oben genannten.
- Achten Sie auf aufeinanderfolgende User-agent-Zeilen. Mehrere Agenten, die vor einem Disallow zusammen aufgeführt sind, teilen sich diese Regel – so werden GPTBot und OAI-SearchBot durch eine Zeile blockiert, die jemand für einen von ihnen geschrieben hat.
Überprüfen Sie das CDN, nicht nur die Datei
Die Regel, die Sie lesen können, ist selten der Ort, an dem die Blockierung stattfindet. Als wir dreißig bekannte DTC-Marken überprüften, blockierte keine einzige Antwort-Engines in robots.txt – aber vier verweigerten einem identifizierten Crawler direkt mit einem 403 oder 429 den Zugriff, und drei konnten überhaupt keine Verbindung herstellen.
Diese Entscheidung liegt in einem Bot-Management-Regelsatz beim CDN oder WAF, der normalerweise von jemandem hinzugefügt wurde, der den Ursprung lange vor der Berücksichtigung von KI-Referral-Traffic vor Scrapern schützte. Sie erscheint in keinem robots.txt-Audit, und die Person, die den fehlenden Traffic bemerken würde, hat keine Einsicht in die Konsole, in der sie konfiguriert wurde.
Die Frage, die es wert ist, dem Administrator Ihres Edge zu stellen, ist spezifisch und hat eine definitive Antwort: Sind OAI-SearchBot, PerplexityBot und ChatGPT-User auf der Allowlist?
Häufige Fragen
- Schadet das Blockieren von GPTBot meiner SEO?
- Nein. GPTBot ist ein Modelltrainings-Crawler und hat keinen Einfluss auf Google-Suchrankings oder darauf, ob ChatGPT Sie in den Suchergebnissen anzeigt. Diese stammen jeweils von Googlebot und OAI-SearchBot – völlig unterschiedliche Agenten.
- Wenn ich GPTBot blockiere, findet ChatGPT meine Produkte dann immer noch?
- Ja, vorausgesetzt OAI-SearchBot und ChatGPT-User sind erlaubt. Die ChatGPT-Suche basiert auf einem separaten Index und Live-Abrufen, von denen keiner von Trainings-Crawls abhängt.
- Welcher taucht auf, wenn jemand ChatGPT nach meiner Marke fragt?
- Normalerweise ChatGPT-User, der Ihre Seite live für diese spezifische Frage abruft, und OAI-SearchBot für alles, was bereits indexiert war. Wenn Sie ChatGPT-User in Ihren Logs sehen, fragt in diesem Moment eine echte Person nach Ihnen.
- Gibt es eine äquivalente Aufteilung für andere KI-Unternehmen?
- Ja, und es folgt dem gleichen Muster. Anthropic betreibt ClaudeBot für das Training und Claude-SearchBot für die Suche; Perplexity betreibt PerplexityBot für die Indexierung und Perplexity-User für Live-Abrufe; Google trennt Google-Extended (Training) vom gewöhnlichen Googlebot. Das Muster ist konsistent genug, um eine Richtlinie darum herum zu erstellen.