Agentic Commerce
Wie überprüfen Sie, ob KI-Crawler Ihre Website besuchen?
Aktualisiert am
Greppen Sie Ihre Zugriffs-Logs nach den User-Agent-Strings der drei Crawler-Klassen und zählen Sie diese separat: Trainings-Crawler (GPTBot, ClaudeBot, CCBot, Bytespider), Antwort-Engines (OAI-SearchBot, PerplexityBot, Claude-SearchBot) und Live-Agent-Abrufe (ChatGPT-User, Perplexity-User). Null Treffer von Antwort-Engines über eine Woche hinweg ist das entscheidende Ergebnis – es bedeutet fast immer, dass eine CDN- oder WAF-Regel diese ablehnt, bevor Ihr Origin die Anfrage überhaupt protokolliert.
Wonach Sie greppen sollten
Zählen Sie die drei Klassen separat. Eine einzelne Gesamtzahl sagt Ihnen nichts Nützliches, da die Klassen gegensätzliche Auswirkungen haben: Trainings-Crawls sind neutral, Antwort-Engine-Crawls sind der Weg, wie Sie sichtbar werden, und Live-Agent-Abrufe bedeuten, dass eine Person gerade jetzt nach Ihnen fragt.
- Training: GPTBot, ClaudeBot, CCBot, Bytespider, Google-Extended, Applebot-Extended, meta-externalagent
- Antwort-Engines: OAI-SearchBot, PerplexityBot, Claude-SearchBot, DuckAssistBot
- Live-Agent-Abrufe: ChatGPT-User, Perplexity-User
Wo Sie suchen sollten, nach Nützlichkeit geordnet
Ihr Origin-Zugriffs-Log ist der offensichtliche Ort und der am wenigsten zuverlässige, da alles, was am Edge blockiert wird, ihn nie erreicht. Überprüfen Sie zuerst das CDN-Log, falls Sie eines haben – Cloudflare, Fastly, CloudFront und Akamai stellen alle Anfrage-Logs mit User-Agent zur Verfügung, und entscheidend ist, dass sie sowohl abgelehnte als auch bediente Anfragen anzeigen.
Dieser Unterschied ist der ganze Sinn der Übung. Ein Origin-Log, das keinen OAI-SearchBot-Traffic anzeigt, und ein CDN-Log, das zeigt, wie OAI-SearchBot 403er empfängt, beschreiben völlig unterschiedliche Probleme, und nur das zweite ist für Sie handlungsrelevant.
Das Ergebnis lesen
Drei Muster, drei Schlussfolgerungen.
| Was Sie sehen | Was es bedeutet | Was zu tun ist |
|---|---|---|
| Antwort-Engines crawlen, 200er | Sie sind erreichbar. Ob Sie zitiert werden, hängt von Ihrem Inhalt und der Maschinenlesbarkeit ab. | Überprüfen Sie, was sie tatsächlich parsen können – Preis und Verfügbarkeit im reinen HTML. |
| Antwort-Engines erhalten 403 oder 429 | Eine Bot-Management-Regel lehnt sie ab. Dies ist der häufigste Fall und in robots.txt unsichtbar. | Setzen Sie sie auf die Allowlist beim CDN. Nichts anderes, was Sie tun, ist von Bedeutung, bis dies behoben ist. |
| Überhaupt keine Anfragen von Antwort-Engines | Entweder wurden sie abgelehnt, bevor Ihr Origin etwas protokollierte, oder die Website ist noch nicht in ihrem Crawl-Frontier. | Überprüfen Sie das CDN-Log. Wenn es auch dort sauber ist, liegt das Problem bei der Entdeckung – Sitemap, Links, Indexierung. |
Den User-Agent verifizieren statt ihm zu vertrauen
Ein User-Agent-String wird selbst gemeldet und ist trivial zu fälschen, daher ist ein Log voller „GPTBot“-Treffer kein Beweis dafür, dass OpenAI Ihre Seite besucht hat. Scraper geben sich als seriöse Crawler aus, gerade weil so viele Websites sie auf die Allowlist setzen.
Die Betreiber veröffentlichen IP-Bereiche für ihre Crawler, und ein Reverse-DNS-Lookup auf die anfragende IP ist die Standardprüfung. Dies ist am wichtigsten, wenn Sie entscheiden, ob die Crawl-Last eine Blockierung rechtfertigt: Das Drosseln eines gefälschten GPTBot ist in Ordnung, und das Drosseln des echten ist eine bewusste politische Entscheidung, die Sie treffen sollten.
Die andere Hälfte des Bildes
Die Log-Analyse sagt Ihnen, ob Crawler Sie erreichen können. Sie sagt Ihnen nicht, ob das, was sie gefunden haben, parsbar war – und die zweite Lücke ist branchenweit größer. Adobe maß bei Produktseiten im Einzelhandel eine Maschinenlesbarkeit von 66%, die niedrigste aller Seitentypen.
Unser kostenloser Checker deckt diese Hälfte ab: Er ruft eine Seite ohne ausgeführtes JavaScript ab und meldet, was ein Agent tatsächlich lesen kann, und er liest Ihre robots.txt und meldet die drei Crawler-Klassen separat. Er kann Ihre CDN-Regeln nicht sehen – nichts Externes kann das, weshalb die oben genannte Log-Prüfung manuell durchgeführt werden sollte.
Häufige Fragen
- Wie oft sollten KI-Crawler besuchen?
- Es gibt keinen zitierwürdigen Benchmark, da er enorm mit der Website-Größe, der Update-Häufigkeit und der bestehenden Autorität variiert. Das Signal zum Handeln ist nicht die Rate, sondern die Statuscodes: Anfragen von Antwort-Engines, die 403er erhalten, sind bei jedem Volumen ein Problem, und null Anfragen über eine Woche hinweg sind es wert, untersucht zu werden.
- Ich sehe überhaupt keinen KI-Crawler-Traffic. Ist meine Website blockiert?
- Überprüfen Sie das CDN-Log, bevor Sie etwas schlussfolgern. Am Edge abgelehnte Anfragen erreichen niemals Ihren Origin, daher sieht ein leeres Origin-Log identisch aus, egal ob Sie blockiert werden oder einfach nicht entdeckt wurden. Diese erfordern gegensätzliche Lösungen.
- Kann ich dem User-Agent-String vertrauen?
- Nein – er wird selbst gemeldet und häufig gefälscht, gerade weil seriöse Crawler-Namen auf die Allowlist gesetzt werden. Überprüfen Sie ihn anhand der veröffentlichten IP-Bereiche des Betreibers oder per Reverse-DNS auf die anfragende Adresse, bevor Sie eine Entscheidung basierend auf dem Volumen treffen.
- Bedeutet ChatGPT-User-Traffic, dass jemand kauft?
- Es bedeutet, dass jemand einem Assistenten eine Frage gestellt hat, die dazu führte, dass dieser in diesem Moment Ihre Seite für sie abgerufen hat. Es ist das, was einem Live-Intent-Signal in dieser gesamten Kategorie am nächsten kommt, und es lohnt sich, es in jedem Bericht, den Sie erstellen, vom Indexierungs-Traffic zu trennen.