KI-Crawler: Welche du zulassen solltest und welche nicht.

In den Server-Logs vieler Websites tauchen seit einiger Zeit neue Namen auf: GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot. Manche Website-Betreiber sperren sie alle, aus Sorge um ihre Inhalte. Andere wundern sich, warum sie in ChatGPT nie genannt werden. Beides hat mit derselben Datei zu tun: der robots.txt, die festlegt, welche Programme welche Seiten abrufen dürfen.

Drei Arten von KI-Crawlern

• Such-Crawler lesen Seiten, damit sie in den Suchantworten eines KI-Dienstes erscheinen können, mit Link als Quelle. Beispiel: OAI-SearchBot für die ChatGPT-Suche.
• Trainings-Crawler sammeln Inhalte, mit denen KI-Modelle trainiert werden. Beispiel: GPTBot von OpenAI oder ClaudeBot von Anthropic.
• Abrufe im Auftrag einer Person passieren, wenn jemand im Chat ausdrücklich eine Seite öffnen lässt. Beispiel: ChatGPT-User. Für solche Abrufe gilt die robots.txt laut OpenAI und Perplexity oft nicht, weil eine Person sie auslöst.

Die gute Nachricht: Bei OpenAI, Perplexity und Anthropic sind diese Einstellungen unabhängig voneinander. Du kannst die Suche zulassen und das Training ausschliessen.

Die wichtigsten Crawler im Überblick

Was wir KMU empfehlen

Unsere Einschätzung: Such-Crawler solltest du zulassen. Sie sind die Voraussetzung, um in KI-Antworten überhaupt als Quelle vorkommen zu können. Beim Training ist es eine Abwägung. Wer Inhalte selbst verkauft, etwa Kurse, Studien oder Fachartikel, schliesst es eher aus. Für ein KMU, dessen Website vor allem Leistungen erklärt, ist der Schaden eines Trainings gering; ausschliessen kannst du es trotzdem jederzeit.

# Such-Crawler zulassen
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
Allow: /

# Training ausschliessen (deine Entscheidung)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

Die robots.txt liegt immer im Hauptverzeichnis deiner Domain, also unter deinedomain.ch/robots.txt. Öffne sie im Browser und prüfe, ob dort eine Regel wie «User-agent: *» mit «Disallow: /» steht. Die sperrt alle Crawler, die nicht ausdrücklich erlaubt sind.

Firewall und CDN: die unsichtbare Sperre

Die robots.txt ist eine Bitte, keine Mauer. Die Mauern stehen oft woanders: in der Firewall des Hosters oder beim CDN, einem Netzwerk, das Websites schneller und sicherer ausliefert. Cloudflare, einer der grössten Anbieter, fragt seit dem 1. Juli 2025 jede neu angemeldete Domain, ob KI-Crawler zugelassen werden sollen. OpenAI empfiehlt ausdrücklich, neben der robots.txt auch seine veröffentlichten IP-Bereiche nicht zu blockieren.

Google und Bing funktionieren anders

Google hat keinen eigenen Crawler für die KI-Suche. AI Overviews und der KI-Modus nutzen die Seiten, die Googlebot für die normale Suche abruft. Wer Googlebot sperrt, verschwindet aus der ganzen Google Suche. Google-Extended steuert nur, ob Inhalte für das Training und die Antworten von Gemini genutzt werden dürfen, und hat laut Google keinen Einfluss auf die Aufnahme in die Suche oder das Ranking. Ob deine Website in den KI-Funktionen der Google Suche erscheint, steuerst du in der Search Console; wie viel davon angezeigt wird, mit Snippet-Angaben wie nosnippet.

Bei Microsoft basiert Copilot auf demselben Index wie die Bing-Suche. Die Meta-Angabe NOARCHIVE verhindert laut Microsoft die Nutzung einer Seite in Copilot-Antworten, NOCACHE beschränkt sie auf Adresse, Titel und Snippet. Steht eine dieser Angaben aus Gewohnheit im Code deiner Website, kann sie Zitate in Copilot verhindern.

Ob deine Website heute für KI-Suchen erreichbar ist, klären wir im Strategie-Call: 30 Minuten, kostenlos.