Technik verständlich

Sperrt Ihre Website die KI aus? Der Schalter, der unsichtbar macht

Von Alex Buchanan31. August 20266 Min. Lesezeit

Es gibt einen Grund, warum ein Unternehmen in KI-Antworten fehlt, an den fast niemand denkt: Die eigene Website lässt die KI gar nicht herein. Meist ist das keine Entscheidung, sondern ein Häkchen, das jemand vor Monaten gesetzt hat – oder eine Voreinstellung, die sich still geändert hat.

Ein Stichtag, den kaum jemand mitbekommen hat

Am 1. Juli 2026 hat Cloudflare – der Dienst, über den ein erheblicher Teil aller Websites weltweit ausgeliefert wird – eine Frist gesetzt. Ab dem 15. September 2026 blockieren die Standardeinstellungen sogenannte „Mixed-Use"-Crawler: also Programme, die gleichzeitig für Suche, für KI-Training und für KI-Assistenten sammeln, ohne das offenzulegen. Betroffen sind Seiten, auf denen Werbung ausgeliefert wird, und die neue Voreinstellung gilt für neue Cloudflare-Kunden, für neu angelegte Seiten bestehender Kunden sowie für alle bestehenden Gratis-Konten.

Bevor jetzt Unruhe entsteht: Die meisten Firmen-Websites schalten keine Werbung und sind von genau dieser Änderung nicht direkt betroffen. Der Punkt ist ein anderer. Die Meldung zeigt, wie schnell sich im Hintergrund etwas verschiebt, das darüber entscheidet, ob eine KI Ihre Seite überhaupt lesen darf – ohne dass Sie eine E-Mail darüber bekommen.

Es gibt nicht „die KI-Crawler". Es gibt drei Sorten.

Hier liegt der eigentliche Denkfehler, und er kostet Sichtbarkeit. Wenn von „KI-Bots" die Rede ist, sind meist drei sehr unterschiedliche Dinge gemeint:

Trainings-Sammler. Sie laden Inhalte ein, damit ein Modell daraus lernt – bei OpenAI heißt dieser Sammler GPTBot, bei Google Google-Extended, bei Anthropic ClaudeBot. Was sie mitnehmen, wirkt frühestens in einer künftigen Modellversion.
Antwort-Sammler. Sie bauen den Suchindex, aus dem eine KI im Moment der Frage antwortet – etwa OAI-SearchBot bei OpenAI oder der Crawler von Perplexity. Wer diese aussperrt, kann in der Live-Antwort nicht auftauchen, ganz gleich wie gut die Website ist.
Abrufe im Auftrag eines Nutzers. Jemand stellt gerade eine Frage, die KI holt sich dafür eine einzelne Seite – bei OpenAI ist das ChatGPT-User. Das ist im Grunde ein Besucher, nur mit Maschine davor.

Wie unterschiedlich diese Gruppen unterwegs sind, zeigen Zahlen aus dem Cloudflare-Netzwerk: Der Trainings-Sammler GPTBot griff auf knapp 29 % aller dort geschützten Websites zu, der Antwort-Sammler OAI-SearchBot auf 1,66 % und die nutzerausgelösten Abrufe auf 1,06 %. Trainings-Sammler sind also laut und auffällig – die für Ihr Geschäft entscheidenden Zugriffe sind die leisen.

Der teure Kurzschluss

In vielen Baukästen, WordPress-Plugins und Hoster-Oberflächen gibt es inzwischen einen einzigen Schalter: „KI-Bots blockieren". Cloudflare allein meldete für seine Ein-Klick-Sperre über eine Million Nutzungen. Der Impuls ist nachvollziehbar – niemand möchte, dass fremde Konzerne die eigene Arbeit kostenlos einsammeln.

Nur trennen die wenigsten dieser Schalter sauber zwischen den drei Sorten. Wer pauschal alles zumacht, verhindert vielleicht ein bisschen Training – und verschwindet gleichzeitig aus genau den Antworten, in denen ein Kunde gerade nach einem Anbieter sucht. Das ist, als würde man die Schaufensterscheibe abkleben, weil einem die Werbefotografen auf die Nerven gehen.

Was Sie in einer Viertelstunde selbst prüfen können

Sie brauchen dafür keinen Entwickler. Drei Schritte reichen für eine erste, belastbare Antwort:

1. Die robots.txt ansehen. Rufen Sie ihre-domain.de/robots.txt im Browser auf. Das ist eine schlichte Textdatei, in der steht, welche Programme Ihre Seite lesen dürfen. Suchen Sie nach Zeilen, die mit User-agent: beginnen, gefolgt von Disallow: /. Steht dort ein Name aus der Antwort-Gruppe – etwa OAI-SearchBot oder PerplexityBot – oder gar ein pauschales User-agent: * mit Disallow: /, dann sperren Sie sich selbst aus. Erscheint stattdessen eine Fehlermeldung, existiert die Datei nicht; das ist kein Drama, sondern schlicht „alles erlaubt". Zur Einordnung: Nur rund 37 % der 10.000 größten Domains haben überhaupt eine solche Datei.

2. Die Schalter beim Hoster und im CMS kontrollieren. Suchen Sie in Ihrem Website-Konto und in installierten SEO- oder Sicherheits-Erweiterungen nach Begriffen wie „AI", „KI-Bots", „Bot-Schutz" oder „Scraping". Wichtig: Diese Sperren wirken oft zusätzlich zur robots.txt. Eine Website kann in der Textdatei „erlaubt" sagen und trotzdem auf Serverebene blockieren – beide Ebenen müssen zusammenpassen.

3. Prüfen, was tatsächlich ankommt. Am Ende zählt nicht die Konfiguration, sondern das Ergebnis. Stellen Sie ChatGPT oder Perplexity die Fragen, die Ihre Kunden stellen würden, und schauen Sie, ob Sie vorkommen. Wie Sie dabei systematisch vorgehen, haben wir in KI-Sichtbarkeit messen beschrieben.

Und wenn Sie wirklich nicht ins Training wollen?

Das ist eine völlig legitime Haltung, und sie schließt Sichtbarkeit nicht aus. Sie können den Trainings-Sammlern die Tür zumachen und die Antwort-Sammler hereinlassen. Google hat dafür seit Jahren eine saubere Trennung: Google-Extended abzulehnen nimmt Ihre Inhalte aus dem Training der Gemini-Modelle, ändert aber nichts an Ihrer Position in der Google-Suche – und die klassische Google-Suche ist zugleich die Grundlage der KI-Übersichten. Bei OpenAI gilt dasselbe Prinzip zwischen GPTBot und OAI-SearchBot.

Dass diese Feinheit selten bekannt ist, zeigt eine Auswertung von Cloudflare: GPTBot wird in 7,8 % der untersuchten robots.txt-Dateien ausgesperrt, Google-Extended nur in 5,6 %. Viele, die glauben, sie hätten das Thema erledigt, haben also lediglich einen von mehreren Sammlern erwischt – während andere in der Zwischenzeit unbeabsichtigt zu viel blockieren.

Was daraus folgt

Fehlende KI-Sichtbarkeit hat meistens inhaltliche Gründe: zu wenig Spuren im Netz, zu wenig Belegbares, zu wenig Erwähnungen bei Dritten – woher die KI ihre Empfehlungen nimmt, haben wir an anderer Stelle ausführlich beschrieben. Aber bevor Sie an Inhalten arbeiten, lohnt der Blick auf die Tür. Denn kein Text der Welt hilft, wenn die Maschine, die ihn lesen soll, an der Schwelle abgewiesen wird.

Nehmen Sie sich die fünfzehn Minuten. In den meisten Fällen ist alles in Ordnung – und in den Fällen, in denen es das nicht ist, ist es die günstigste Verbesserung, die Sie an Ihrer Sichtbarkeit vornehmen können. Wer danach weitergehen möchte: Ob eine zusätzliche Datei wie llms.txt sinnvoll ist, klären wir separat.

Quellen: TechCrunch, „Cloudflare's new policy pushes AI companies to pay for publishers' content" (1. Juli 2026) – Stichtag 15. September 2026 und betroffene Kontotypen. Cloudflare Blog, „Control content use for AI training with Cloudflare's managed robots.txt and blocking for monetized content" (1. Juli 2025) – Zugriffsanteile der einzelnen Crawler (Stand Juni 2025), Verbreitung von robots.txt-Dateien, Disallow-Quoten für GPTBot und Google-Extended, über eine Million Aktivierungen der Ein-Klick-Sperre. Google Search Central, Dokumentation zu Google-Extended und Googlebot.