
Das Wichtigste vorweg.
- KI-Crawler rufen deine Seiten für eine von drei Aufgaben ab: Training, den Suchindex, aus dem ein Assistent zitiert, oder einen Live-Abruf, weil ein Nutzer fragt.
- Sperrst du einen Such- oder Nutzer-Crawler wie OAI-SearchBot oder PerplexityBot, kann dich das die Quellenangabe kosten. Ein Trainings-Crawler wie GPTBot ist eine eigene Entscheidung; OpenAI schreibt: „Each setting is independent of the others.“
- Die robots.txt ist nur eine Ebene. Eine Regel im CDN oder in der Firewall kann einen Crawler abweisen, den die robots.txt erlaubt. Das AI-Readiness-Audit von FameScan prüft beides für deine Startseite.
KI-Crawler, oft auch KI Crawler oder englisch AI Crawler geschrieben, sind die Bots, mit denen KI-Unternehmen Websites lesen. Jeder meldet sich mit eigenem Namen, deshalb regelt deine robots.txt jeden einzeln. Lass die Crawler für Suche und Nutzeranfragen herein, wenn ChatGPT, Claude, Perplexity und Google deine Seiten als Quelle nennen können sollen. Über Trainings-Crawler wie GPTBot entscheidest du getrennt. Danach prüfst du, ob deine Firewall dasselbe sagt.
Das AI-Readiness-Audit von FameScan liest deine robots.txt für jeden KI-Crawler, ordnet die Crawler nach Training, Suche und Nutzeranfrage und lädt deine Startseite mit den User-Agents von fünf davon, um zu zeigen, ob eine Firewall solche Anfragen abweist. FameScan misst außerdem, wie deine Marke in den Antworten von ChatGPT, Perplexity, Gemini, Claude und Google AI Overviews erscheint. Im selben Workspace siehst du also, ob deine Seiten danach als Quelle auftauchen. Alle Herstellerseiten, auf die dieser Artikel verweist, haben wir am 10. November 2026 geöffnet.
Was sind KI-Crawler?
Ein KI-Crawler ist ein Bot, der Webseiten für ein KI-Unternehmen abruft, für eine von drei Aufgaben: Trainingsdaten sammeln, den Suchindex füllen, aus dem ein Assistent zitiert, oder eine Seite live abrufen, weil ein Nutzer danach fragt. Die meisten Anbieter betreiben mehrere davon. Allein OpenAI dokumentiert neben weiteren Bots GPTBot, OAI-SearchBot und ChatGPT-User, jeden mit einem anderen Zweck.
Der Name eines Crawlers heißt User-Agent. Er reist mit jeder Anfrage mit, und genau ihn spricht eine Regel in der robots.txt an. „User-agent: GPTBot“ gilt für GPTBot und für niemanden sonst. Die sinnvolle Frage lautet deshalb nicht „Lassen wir KI zu?“, sondern „Welcher dieser Namen darf welche Seiten lesen?“.
Manche Namen sind bloße Schalter ohne eigenen Crawler. Google-Extended hat laut Google keinen eigenen User-Agent-String für HTTP-Anfragen, und Applebot-Extended crawlt laut Apple keine Webseiten. Beide legen fest, wie Inhalte, die Googlebot oder Applebot ohnehin abgerufen haben, für KI genutzt werden dürfen: Google-Extended für Training und Grounding von Gemini, Applebot-Extended fürs Training. Wie die Crawler von OpenAI in die Diagnose für ChatGPT passen, zeigt unser Leitfaden zur ChatGPT-Sichtbarkeit.
Training, Suche, Nutzeranfrage: drei Aufgaben
Die Aufgabe eines Crawlers bestimmt, was dich eine Sperre kostet. Das Audit von FameScan sortiert deshalb in dieselben drei Gruppen: Training, Suche und Nutzeranfrage.
- Training. Der Crawler sammelt Inhalte, die künftige Modelle trainieren können. Eine Sperre ist eine Aussage darüber, ob deine Inhalte dafür verwendet werden sollen. OpenAI, Google und Apple trennen diesen Schalter ausdrücklich von ihrer Suche.
- Suche. Der Crawler baut den Index, aus dem ein Assistent beim Antworten Quellen holt. Eine Sperre kann deine Seiten aus diesen Antworten nehmen. OpenAI schreibt, dass Websites ohne Zugriff für OAI-SearchBot nicht in Suchantworten von ChatGPT gezeigt werden, als reine Navigationslinks aber weiter auftauchen können.
- Nutzeranfrage. Der Crawler holt eine einzelne Seite, weil eine Person danach fragt, etwa mit einem eingefügten Link. Er durchsucht das Web nicht von sich aus. Laut Anthropic verhindert eine Sperre von Claude-User, dass Claude deine Inhalte für die Frage eines Nutzers abruft.
Nur die letzten beiden bringen deine Seite als zitierte Quelle in eine Antwort. Darum fällt im Audit die Prüfung „KI-Suchassistenten erlaubt“ durch, sobald ein wichtiger Such- oder Nutzer-Crawler gesperrt ist: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Googlebot oder Bingbot. Ein gesperrter Trainings-Crawler erscheint dagegen unter „KI-Trainings-Crawler“ und senkt den Score nie.
Welche KI-Crawler besuchen deine Website?
Die Tabelle zeigt die KI-Crawler, denen du in robots.txt-Dateien am ehesten begegnest, und was der jeweilige Anbieter über eine Sperre sagt. Jede Zelle stammt von der Seite des Herstellers, geöffnet am 10. November 2026. Die Seiten ändern sich, also prüfe die Quelle, bevor du eine Regel änderst.
| Crawler und Aufgabe | Wenn du ihn sperrst, laut Anbieter |
|---|---|
| OpenAI | |
| GPTBotTraining | Signal, dass deine Inhalte nicht ins Training von OpenAIs Basismodellen sollen |
| OAI-SearchBotSuche | Keine Anzeige in Suchantworten von ChatGPT; Navigationslinks bleiben möglich |
| ChatGPT-UserNutzeranfrage | Regeln der robots.txt gelten womöglich nicht, weil ein Nutzer den Abruf startet |
| Anthropic | |
| ClaudeBotTraining | Signal, dass künftige Inhalte aus Anthropics Trainingsdaten herausbleiben sollen |
| Claude-SearchBotSuche | Kann Sichtbarkeit und Genauigkeit in Suchergebnissen für Nutzer senken |
| Claude-UserNutzeranfrage | Claude kann deine Seite für die Frage eines Nutzers nicht abrufen |
| Perplexity | |
| PerplexityBotSuche | Perplexity empfiehlt, ihn zu erlauben, damit deine Website in den Suchergebnissen erscheint |
| Perplexity-UserNutzeranfrage | Ignoriert die robots.txt in der Regel, weil ein Nutzer den Abruf angefordert hat |
| GooglebotSuche | Wirkt auf die Google-Suche; AI Overviews und AI Mode verlinken nur dort indexierte Seiten |
| Google-ExtendedTraining und Grounding, nur ein Schalter | Kein Gemini-Training und kein Grounding in Gemini Apps; kein Einfluss auf Aufnahme oder Ranking in der Suche |
| Apple | |
| ApplebotSuche in Spotlight, Siri, Safari | Laut Apple können Inhalte in Suchergebnissen erscheinen, wenn du ihn zulässt; ohne eigene Gruppe folgt er deiner Gruppe für Googlebot |
| Applebot-ExtendedTraining, nur ein Schalter | Kein Training von Apples Basismodellen; Seiten können weiter in Suchergebnissen erscheinen |
| Common Crawl | |
| CCBotOffenes Archiv | Kein Crawling für das offene Datenarchiv, das jeder nutzen und auswerten kann |
| Meta | |
| Meta-ExternalAgentTraining und Indexierung | Meta nennt das Training von KI-Basismodellen und das Indexieren von Inhalten als Zweck |
| Meta-ExternalFetcherNutzeranfrage | Kann laut Meta die Regeln der robots.txt umgehen |
Das Audit von FameScan liest deine Regeln für 22 KI-Crawler: die aus der Tabelle und dazu unter anderem Bingbot, Amazonbot und DuckAssistBot. CCBot führt es unter Training. Welche Liste du auch nutzt, versieh sie mit einem Datum, denn es kommen neue Namen dazu.
Solltest du KI-Crawler blockieren?
Sperre Trainings-Crawler, wenn deine Inhalte nicht ins Modelltraining sollen, und lass Such- und Nutzer-Crawler herein, wenn deine Seiten als Quelle infrage kommen sollen. Das sind zwei getrennte Entscheidungen, und die Anbieter haben sie bewusst so gebaut. OpenAI schreibt auf seiner Crawler-Seite knapp: „Each setting is independent of the others.“
Eine Nennung ist kein Zitat, und ein Zitat ist keine Empfehlung. Das sind drei verschiedene Erfolge, und der Crawler-Zugriff betrifft vor allem den zweiten. Dein Name kann über die Seiten anderer weiter in Antworten auftauchen, auch wenn deine eigene Seite gesperrt ist. Was dir dann fehlt, ist der Link auf deine Seite, also die eine Quelle, deren Wortlaut du selbst bestimmst.
Entscheide also nach Aufgabe, nicht nach Anbieter:
- Suche und Nutzeranfrage: zulassen, außer eine Seite soll ganz aus KI-Antworten herausbleiben. Ein gesperrter OAI-SearchBot, Claude-SearchBot oder PerplexityBot ist der teuerste Fehler auf dieser Seite, weil er still ist: Auf deiner Website geht nichts kaputt.
- Training: deine Entscheidung. Ein Verlag mit Bezahlinhalten sperrt vielleicht. Ein Softwareanbieter, der will, dass künftige Modelle ihn richtig beschreiben, lässt vielleicht zu. Beides ist legitim.
- Unbekannte Namen in deinen Logs: schlag sie auf der Seite des Anbieters nach, bevor du sie sperrst. Ein Crawler, den du nicht kennst, kann einen Assistenten beliefern, den deine Käufer nutzen.
Keine Einstellung passt für jede Website, und eine Crawler-Regel ist eine technische Entscheidung, keine Rechtsberatung. Wenn Lizenzen oder Urheberrecht den Ausschlag geben, hol die Person dazu, die diese Fragen verantwortet.
Welche Google Bots gibt es?
Google betreibt viele Crawler, für KI-Antworten bei Google zählen aber zwei Namen: Googlebot und Google-Extended. Googlebot crawlt für die Google-Suche, und auf ihr bauen AI Overviews und AI Mode auf. Laut Googles Leitfaden zu KI-Funktionen muss eine Seite indexiert sein und mit Snippet in der Suche erscheinen dürfen, um als Quelle verlinkt zu werden. Weitere technische Voraussetzungen gibt es laut Google nicht, also auch keinen eigenen Crawler für AI Overviews, den du freischalten müsstest.
Google-Extended funktioniert anders. Google beschreibt es als eigenständiges Produkt-Token, mit dem du steuerst, ob gecrawlte Inhalte für das Training künftiger Gemini-Modelle und für das Grounding von Antworten in Gemini Apps genutzt werden dürfen. Laut Google beeinflusst es weder die Aufnahme in die Google-Suche noch das Ranking. Google-Extended zu sperren ist also eine Entscheidung über Gemini, nicht über AI Overviews. Googles Crawler-Seite listet weitere Crawler für andere Produkte. Für KI-Antworten in der Suche und für Gemini sind diese beiden die Namen, die du prüfst.
Wenn du begrenzen willst, was Google von einer Seite in der Suche und in ihren KI-Funktionen zeigt, verweist Google auf die Snippet-Steuerung mit nosnippet, data-nosnippet und max-snippet sowie auf noindex. Das Audit meldet noindex und nosnippet auf deiner Startseite unter „Nicht von der Indexierung ausgeschlossen“ und noindex auf den geprüften Unterseiten. Wie du danach liest, was AI Overviews zu deinen Fragen zeigen, erklärt unser Leitfaden zum AI Overview Tracking.
Apple folgt demselben Muster. Applebot crawlt für Suchfunktionen in Spotlight, Siri und Safari, Applebot-Extended regelt nur die Nutzung fürs Training. Nennt deine robots.txt Googlebot, aber nicht Applebot, folgt Applebot laut Apple deinen Regeln für Googlebot. Eine Regel, die du nur für Google geschrieben hast, kann also auch Apples Suche treffen.
Blockiert deine Firewall KI-Crawler?
Das kann sie, und deine robots.txt verrät es nicht. Bei Cloudflare blockieren neue Domains KI-Crawler laut Dokumentation nicht von selbst, aber eine einzige Einstellung auf deiner Zone reicht. Cloudflares Seite zu den AI Crawler and Agent access policies, zuletzt aktualisiert am 2. November 2026, legt eine Aktion für drei Verhaltensweisen fest: Search, Agent und Training. Bei neuen Domains stehen alle drei auf „Allow (do not block)“.
Zur Wahl stehen unter anderem eine Sperre für die ganze Zone und eine Sperre nur auf Seiten mit Werbung. Für Training gibt es zusätzlich Disallow, das Crawler über die robots.txt bittet, fernzubleiben. In AI Crawl Control erlaubst oder sperrst du einzelne Crawler, und eine Sperre legt auf deiner Zone eine WAF-Regel an, die etwa mit 403 Forbidden antworten kann. Vielleicht hat jemand im Team so etwas eingeschaltet, lange bevor KI-Antworten ein Thema waren.
Genau hier liegt die Falle: Die robots.txt sagt ja, die Firewall sagt nein, und der Crawler sieht deine Seite nie. Umgekehrt gilt es auch. Cloudflare erinnert daran, dass Regeln in der robots.txt freiwillig sind und Crawler sie ignorieren können. Mit Bot Preference Sync sperrt die Einstellung Disallow Trainings-Crawler zusätzlich am Rand des Cloudflare-Netzwerks.
Das gilt für jedes CDN, jede WAF und jeden Bot-Schutz, nicht nur für Cloudflare. Perplexity schreibt auf seiner Crawler-Seite, dass du seine Bots in der Firewall womöglich ausdrücklich erlauben musst, und empfiehlt, den User-Agent jeweils mit den veröffentlichten IP-Bereichen abzugleichen. Wie du danach prüfst, welche Quellen Perplexity zitiert, steht in unserem Leitfaden zu Perplexity SEO.
Der Live-Besuch im Audit ist für genau diesen Fall gebaut. Er lädt deine Startseite mit den User-Agents von OAI-SearchBot, ChatGPT-User, Claude-User, PerplexityBot und GPTBot und vergleicht jede Antwort mit einem normalen Besuch: „Bekommt die Seite“, „Blockiert“, „Bot-Abfrage“ oder „Gekürzte Seite“. Die Anfrage kommt von den Servern von FameScan. Sie zeigt also, ob deine Firewall eine Anfrage abweist, die sich als dieser Crawler ausgibt.
Eine robots.txt für KI-Crawler, Zeile für Zeile
Das folgende Beispiel ist erfunden: eine robots.txt für eine fiktive Firma, die in KI-Antworten als Quelle auftauchen will und ihre Inhalte aus dem Modelltraining heraushält. Übernimm den Aufbau, nicht die Entscheidungen. Die Sperre fürs Training ist eine mögliche Wahl von mehreren.
# Suche und Nutzeranfrage: erlaubt User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User Allow: / # Training: hier gesperrt User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: CCBot Disallow: / # Alle anderen (Googlebot, Bingbot …) User-agent: * Disallow: /admin/ Sitemap: https://example.com/map.xml
- Die erste Gruppe nennt die Such- und Nutzer-Crawler je in einer Zeile und erlaubt alles. Mehrere User-agent-Zeilen hintereinander teilen sich die Regeln darunter.
- Die zweite Gruppe sperrt das Training. Google-Extended und Applebot-Extended stehen hier, obwohl sie nie vorbeikommen, denn Google und Apple lesen genau diese Namen. Google-Extended regelt auch das Grounding in Gemini Apps; wer will, dass Gemini auf seine Seiten zurückgreift, lässt diese Zeile weg.
- Die dritte Gruppe mit dem Stern gilt für jeden Crawler ohne eigene Gruppe, auch für Googlebot. Ein Crawler, der seinen Namen findet, ignoriert die Stern-Gruppe. Ein Disallow, das du dort ergänzt, erreicht die oben genannten Crawler also nicht.
- Die Sitemap-Zeile gilt für alle und hilft Such-Crawlern, deine Unterseiten zu finden.
Zwei Grenzen bleiben. Abrufe, die ein Nutzer auslöst, folgen der robots.txt womöglich nicht so wie Index-Crawler: Laut OpenAI gelten die Regeln für ChatGPT-User vielleicht nicht, laut Perplexity ignoriert Perplexity-User sie in der Regel, und laut Meta kann Meta-ExternalFetcher sie umgehen. Außerdem brauchen Änderungen Zeit. OpenAI schreibt, dass seine Suchsysteme nach einer Änderung der robots.txt etwa 24 Stunden brauchen können.
Läuft deine Website auf Wix, bearbeitest du diese Regeln im Robots.txt Editor von Wix; wo er liegt, zeigt unser Artikel zu den Wix SEO-Tools. Die übrigen Schritte, die eine Seite zitierwürdig machen, stehen in der GEO-Checkliste.
Zugriff in FameScan prüfen, dann die Quellen beobachten
Prüf zuerst den Zugriff und lass dann die Messung zeigen, ob Zitate folgen. Öffne in FameScan die Seite AI-Readiness und klicke auf „Audit starten“. Das Audit stellt echte Anfragen an deine Website: robots.txt, Sitemap, Besuche mit den User-Agents von KI-Crawlern und bis zu fünf Unterseiten aus Sitemap und Navigation. Answer Credits verbraucht es nicht.
Die Änderung macht Tallyform selbst: Der Entwickler lockert die CDN-Regel. Danach startet die Marketing-Leiterin das Audit erneut und sieht bei PerplexityBot „Bekommt die Seite“.
Der Zugriff ist die Voraussetzung, die Antworten sind der Beleg. In den Wochen danach filtert sie die Dashboards auf Perplexity und beobachtet auf denselben Käuferfragen drei Dinge:
- Quellen, Domains: ob die Domain von Tallyform unter den zitierten Quellen auftaucht. Jede gespeicherte Antwort lässt sich mit Engine, Land, Zeitpunkt und ihren Quellen öffnen. Wie FameScan dafür jede Antwort speichert, steht unter So funktioniert es.
- Zitationsrate: der gewählte Zeitraum gegen den davor, mit 95-%-Intervall und dem Urteil „Echte Veränderung“, „Im Rauschen“ oder „Zu wenige Antworten“.
- Alerts: „Quelle wird nicht mehr zitiert“ mit dem Namen der Domain, wenn eine bisher wiederholt zitierte Domain wegfällt und die Zahl der Antworten Zufall unwahrscheinlich macht.
Nichts davon verspricht ein Zitat. Ein erlaubter Crawler macht deine Seite erreichbar, ob eine Antwort sie zitiert, hängt von der Frage, der Seite und den Wettbewerbern ab. Was du am Montag zeigen kannst, ist die Beweiskette: das Audit vorher und nachher und die Quellen derselben Perplexity-Antworten in den Wochen danach.
Das Audit gehört zu jedem bezahlten Plan und zu jedem laufenden Testzeitraum. Die Pläne beginnen mit Lite für $12 im Monat oder $9 im Monat bei jährlicher Zahlung, Stand 10. November 2026; alles Weitere steht auf der Preisseite. Das Action Center ordnet danach die nächsten Schritte aus deinen gemessenen Antworten, jeweils mit den Belegen dahinter.
Deine Crawler-Regel abzeichnen
Öffne heute deinedomain.de/robots.txt im Browser und füll diese drei Zeilen aus, jede mit einem Namen. Eine Datei voller Regeln ohne ausgesprochene Haltung ist genau der Weg, auf dem eine Scraper-Regel am Ende PerplexityBot aussperrt.
| Gruppe | Unsere Regel | Wer zeichnet ab |
|---|---|---|
| Suche und Nutzeranfrage | „Wir lassen … herein.“ | wer die robots.txt bearbeitet |
| Training | „Wir haben … entschieden, weil …“ | wer über die Nutzung eurer Inhalte entscheidet |
| Firewall und CDN | „Unser CDN sagt dasselbe.“ | wer das CDN betreut |
Zeile drei bleibt offen, bis jemand die CDN-Einstellungen geöffnet hat.
Häufig gefragt
Blockiert Cloudflare KI-Crawler?
Nicht automatisch bei neuen Domains. Laut Cloudflares Seite zu den AI Crawler and Agent access policies, Stand 2. November 2026, stehen Search, Agent und Training dort standardmäßig auf „Allow (do not block)“. Eine Einstellung auf deiner Zone kann sie aber sperren, etwa eine Block-Regel oder eine Sperre einzelner Crawler in AI Crawl Control. Die robots.txt zeigt das nicht. Prüfe deshalb das Dashboard und lade eine Seite mit dem User-Agent eines KI-Crawlers.
Ist ChatGPT ein Webcrawler?
ChatGPT selbst ist ein Assistent, aber OpenAI betreibt mehrere Crawler dafür. Laut OpenAIs Crawler-Seite bringt OAI-SearchBot Websites in die Suchfunktionen von ChatGPT, ChatGPT-User ruft eine Seite ab, wenn eine Aktion eines Nutzers das braucht, und GPTBot sammelt Inhalte, die zum Training von OpenAIs Modellen dienen können. Jeder hat einen eigenen Namen, also kann deine robots.txt sie verschieden behandeln.
Schadet es meiner Sichtbarkeit in ChatGPT, wenn ich GPTBot blockiere?
OpenAI beschreibt GPTBot und OAI-SearchBot als getrennte Crawler und schreibt, dass jede Einstellung unabhängig von den anderen ist. GPTBot zu sperren ist eine Entscheidung über das Training. Ob ChatGPT deine Seiten in Suchantworten zeigen und verlinken kann, hängt am Zugriff von OAI-SearchBot. Lies OpenAIs Crawler-Seite am Tag deiner Entscheidung, denn sie kann sich ändern.
Halten sich KI-Crawler an die robots.txt?
Anthropic schreibt, dass seine Bots die robots.txt beachten, und OpenAI, Perplexity, Google, Apple und Common Crawl erklären ihre Opt-outs über diese Datei. Abrufe, die ein Nutzer auslöst, sind ein anderer Fall: Für ChatGPT-User gelten die Regeln laut OpenAI womöglich nicht, Perplexity-User ignoriert sie laut Perplexity in der Regel. Außerdem kann eine Firewall einen Crawler sperren, den die robots.txt erlaubt.
Entfernt Google-Extended meine Website aus den AI Overviews?
Nein, laut Google nicht. Google-Extended steuert, ob gecrawlte Inhalte für das Training künftiger Gemini-Modelle und für das Grounding in Gemini Apps genutzt werden dürfen, und beeinflusst laut Google weder die Aufnahme in die Google-Suche noch das Ranking. Als Quelle in AI Overviews oder im AI Mode erscheint eine Seite, wenn sie indexiert ist und mit Snippet in der Suche erscheinen darf. Begrenzen kannst du das mit nosnippet, max-snippet oder noindex.
Wie sehe ich, ob KI-Crawler meine Website lesen können?
Lies deine robots.txt für jeden Crawler-Namen und rufe danach eine Seite mit dem User-Agent des Crawlers ab. So siehst du, ob eine Firewall mit einem Fehler oder einer Prüfseite antwortet. Das AI-Readiness-Audit von FameScan macht beides für deine Startseite, prüft bis zu fünf Unterseiten, ordnet 22 KI-Crawler nach Training, Suche und Nutzeranfrage und verbraucht keine Answer Credits.
Quellen & weiterführendes Wissen
Quellen geprüft am 10. November 2026.
OpenAI
PerplexityBot