Ihre Website kann hervorragend sein und für KI trotzdem unsichtbar

In all den Jahren, in denen ich an organischer Sichtbarkeit gearbeitet habe, hat sich eines immer wieder bestätigt: Die teuersten Probleme sind die, die niemand prüft, weil sie zu banal wirken. Das Team schreibt Inhalte, feilt an der Struktur, baut Autorität auf. Und dann stellt sich heraus, dass eine einzige Zeile in der Serverkonfiguration, vor fünf Jahren von jemandem gesetzt, der längst nicht mehr im Haus ist, die Tür zu allem verschlossen hält.

Die ganze Branche diskutiert derzeit darüber, wie man Inhalte für die KI-Suche schreibt. Kaum jemand beginnt mit der Frage, ob die KI überhaupt an diese Inhalte herankommt. Das ist die falsche Reihenfolge. Inhalte für ein System zu optimieren, das sie nicht abrufen kann, ist die teuerste Art, ein Quartal zu verlieren.

Es folgen vier Stellen, an denen der Zugang verschlossen sein kann:

• Drei Ebenen der Sperre - robots.txt, der Header X-Robots-Tag, das Tag meta robots
• Bot-Schutz - Cloudflare, WAF, Anti-Scraping-Regeln
• Per JavaScript nachgeladene Inhalte - der Bot bekommt eine leere Hülle
• Sitemap und Ladezeit - die langweiligen Punkte, die über den Abruf entscheiden

Sie brauchen keinen Serverzugriff, um diese Liste durchzugehen. Am Ende haben Sie die passenden Fragen für Ihre IT-Abteilung.

Es ist nicht eine Sperre, sondern drei Ebenen

Jeder Ratgeber hört bei der robots.txt auf. Dabei kann die Anweisung "nicht indexieren" an drei voneinander unabhängigen Stellen stehen, und eine davon genügt, damit die Seite verschwindet:

• robots.txt - eine Textdatei im Stammverzeichnis der Domain. Die bekannteste und, entgegen der Erwartung, am seltensten schuld, denn sie ist sichtbar, und irgendwann schaut jemand hinein.
• Der HTTP-Header X-Robots-Tag - gesetzt auf Ebene des Servers, des CDN oder einer vorgelagerten Schicht. Im Seitenquelltext taucht er nicht auf, und über "Seitenquelltext anzeigen" bekommen Sie ihn nicht zu sehen. Das ist der häufigste Grund für die Situation, in der die robots.txt einwandfrei ist und die Seite dennoch unsichtbar bleibt.
• Das Tag meta robots im HTML - das klassische Szenario: Die Testumgebung hatte ein globales noindex, damit sie nicht in Suchmaschinen landet, beim Deployment ging es mit auf die Produktivseite, und niemand hat es bemerkt.

Diese Ebenen überschreiben einander nicht auf naheliegende Weise, und es gibt keine Rangfolge, auf die man sich verlassen könnte. Alle drei müssen unabhängig voneinander geprüft werden.

Typischerweise läuft es so ab: Jemand meldet, dass das Unternehmen in KI-Antworten nicht auftaucht. Das Team öffnet die robots.txt, sieht, dass sie sauber ist, hakt das Thema ab und wendet sich wieder den Inhalten zu.

In den folgenden Monaten entstehen Artikel, die kein Bot je abruft, weil die Sperre eine Etage höher sitzt, in einer Konfiguration, in die niemand geschaut hat. Der Preis dieses Irrtums ist nicht eine Zeile, sondern ein Quartal Teamarbeit.

Prüfen Sie bei der Gelegenheit auch, ob die Sperre nicht nur einen Teil der Website betrifft. Regeln können einzelne Verzeichnisse umfassen, und mitunter ist genau das ausgeschlossen, in dem der Blog oder die Wissensdatenbank liegt - also die Inhalte, die für Zitierungen am wertvollsten sind.

Nicht jeder Bot macht dasselbe, und darum geht es im Kern

Hier passieren die meisten Fehler, deshalb halte ich mich länger damit auf.

Die fünf Systeme, um die es derzeit geht - ChatGPT, Gemini, Claude, Perplexity und Google AI Overviews - bedeuten nicht fünf Bots im Verhältnis eins zu eins. Jeder Anbieter schickt mehrere los, mit unterschiedlichen Namen und völlig unterschiedlichen Aufgaben:

• OpenAI - GPTBot sammelt Inhalte, die dem Training von Modellen dienen können; OAI-SearchBot sorgt dafür, dass Websites in den Suchergebnissen innerhalb von ChatGPT erscheinen; ChatGPT-User ruft eine Seite live ab, wenn ein Nutzer eine Frage gestellt hat.
• Anthropic - ClaudeBot sammelt Trainingsdaten; Claude-SearchBot baut den Suchindex auf; Claude-User besucht die Seite als Reaktion auf eine konkrete Nutzerfrage.
• Perplexity - PerplexityBot indexiert Seiten, um sie in Antworten anzeigen und verlinken zu können; Perplexity-User ruft die Seite live auf. Perplexity weist ausdrücklich darauf hin, dass keiner der beiden Inhalte für das Training von Modellen sammelt.
• Google - das Token Google-Extended in der robots.txt steuert, ob Inhalte für das Training der Gemini-Modelle und für das Anreichern von Antworten verwendet werden dürfen.

Warum ist das so wichtig? Weil eine Sperre von GPTBot und ClaudeBot Sie nicht aus den Antworten von ChatGPT oder Claude entfernt. Das sind Trainings-Crawler. Verlage, die sie aus lizenzrechtlichen Gründen gesperrt haben, glauben oft, damit aus der KI-Suche verschwunden zu sein - sind sie aber nicht.

Umgekehrt gilt dasselbe, und das ist der weitaus gefährlichere Fall: Ein Unternehmen, das zitiert werden möchte und nur GPTBot geprüft hat, kann genau jenen Bots die Tür verschlossen haben, die über die Präsenz in Antworten entscheiden.

Zu Google noch eine Anmerkung. Google stellt ausdrücklich klar, dass Google-Extended weder die Aufnahme in die klassische Google-Suche beeinflusst noch ein Ranking-Signal ist. Das ist deshalb relevant, weil eine Sperre dieses Tokens gelegentlich als SEO-Risiko dargestellt wird. Das ist sie nicht. Sie ist eine Entscheidung über Gemini, und die sollte bewusst fallen und nicht nebenbei.

Das prüft der Bericht im Paket Pro für Sie. Im Rahmen des GEO-Audits gehen wir die Crawler einzeln durch und trennen sie in zwei Gruppen: jene, die für Ihre Sichtbarkeit in Antworten zuständig sind (OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, Claude-User), und die Trainings-Crawler (GPTBot, ClaudeBot, Google-Extended). Sie bekommen es Name für Name: wer Zutritt hat, wer gesperrt ist und auf welcher der drei Ebenen die Sperre sitzt.

Die praktische Schlussfolgerung ist einfach. Bevor Sie irgendetwas sperren oder freigeben, klären Sie, was Sie eigentlich wollen - nicht am Training von Modellen teilzunehmen, ist die eine Entscheidung; in Antworten zitiert zu werden, eine völlig andere:

• Sie wollen keine Trainingsdaten liefern, aber zitiert werden - sperren Sie ausschließlich die Trainings-Crawler (Code unten) und lassen Sie jene offen, die für Suche und Live-Abruf zuständig sind.
• Es geht Ihnen vor allem um die Präsenz in Antworten - dann müssen OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User und Claude-User freigegeben sein. Diese Namen prüfen Sie zuerst, nicht GPTBot.

Das erste Szenario sieht in der Praxis so aus:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Alles Übrige, darunter OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User und Claude-User, bleibt damit unangetastet.

Ein Vorbehalt, den man kennen sollte: Perplexity weist darauf hin, dass sich Perplexity-User in der Regel nicht an die Regeln aus der robots.txt hält, weil sein Besuch unmittelbar von dem Nutzer ausgelöst wird, der die Frage gestellt hat. Bots, die auf Nutzeranfrage handeln, werden mitunter anders behandelt als Crawler, die aus eigenem Antrieb unterwegs sind - gehen Sie also nicht davon aus, dass ein Eintrag in der Datei die Sache bei allen Anbietern erledigt.

Die Bot-Namen ändern sich häufiger als alles andere in diesem Themenfeld: Es kommen neue hinzu, Rollen verschieben sich. Das ist keine Konfiguration, die man einmal setzt.

Die Sperre, die niemand bewusst errichtet hat

Der zweithäufigste Grund für stille Unsichtbarkeit ist nach dem X-Robots-Tag der Bot-Schutz:

• Cloudflare und vergleichbare Schutzschichten
• WAF und Anti-Scraping-Regeln
• Ratenbegrenzungen, also Rate Limiting

Niemand konfiguriert das mit Blick auf KI. Man konfiguriert es gegen Scraper und Missbrauch, und KI-Systeme geraten ins selbe Netz, weil sie aus Sicht der Regel identisch aussehen: automatisiert, ungewöhnlicher User-Agent, viele Anfragen.

Das Symptom ist charakteristisch: Die Seite läuft im Browser einwandfrei, lässt sich aber programmatisch nicht abrufen. Wenn im Unternehmen jemals jemand gesagt hat "das Tool kommt nicht an unsere Seite heran, bei uns funktioniert aber alles", dann ist das genau dieser Fall.

Das prüfen wir bei jedem Bericht mit: Wenn unser Crawler die Seite nicht abrufen kann, benennen wir den Bot-Schutz als ersten Verdächtigen, denn in der Praxis ist er es meistens.

Was der Bot sieht, bevor sich die Seite zusammensetzt

Moderne Websites laden Inhalte oft erst per JavaScript nach, wenn das Grundgerüst bereits steht. Der Nutzer merkt keinen Unterschied. Der Bot sieht mitunter eine leere Hülle.

Denken Sie an zwei verschiedene Fassungen derselben Seite: das rohe HTML, das vom Server kommt, und das HTML nach Ausführung der Skripte, das ein Mensch zu sehen bekommt. Je größer der Unterschied, desto mehr Inhalt liegt außerhalb der Reichweite eines Teils der Bots.

Die häufigsten Opfer sind:

• asynchron nachgeladene Produktbeschreibungen
• Inhalte in Tabs
• Bewertungen
• Preislisten
• alles, was erst nach einem Klick erscheint

Sie können das ohne Serverzugriff prüfen. Öffnen Sie die Quelltextansicht - nicht den Inspektor, sondern den Quelltext - und suchen Sie darin nach Ihrem zentralen Absatz. Steht er nicht drin, dann steht er auch nicht in der Fassung, die der Bot bekommt.

Diese Unterscheidung führt leicht in die Irre, denn der Inspektor im Browser zeigt die Seite bereits nach Ausführung der Skripte, und dort sieht alles korrekt aus. Deshalb sind so viele Teams überzeugt, der Inhalt sei vorhanden.

Das heißt nicht, dass Sie die Website neu bauen müssen. Es genügt, dass die wichtigsten Unterseiten ihren wesentlichen Inhalt direkt vom Server ausliefern. Der Rest darf nachladen.

Auch das gehört zum Bericht im Paket Pro. Die manuelle Quelltextansicht beantwortet die Frage "vorhanden oder nicht", sagt aber nichts darüber, wie viel Inhalt tatsächlich wegfällt. Deshalb zeigen wir beide Fassungen nebeneinander: wie viel Text vor Ausführung des JavaScripts sichtbar ist und wie viel danach. Dazu legen wir einen Ausschnitt dessen, was der Bot wirklich bekommt - das rohe HTML, so wie es aussieht, bevor sich die Seite zusammensetzt. Das ist oft der Moment, in dem die Diskussion endet, denn statt über Prozentwerte zu reden, schauen alle auf eine leere Hülle und sehen genau das, was auch der Bot sieht.

Die Sitemap, die langweilige Maßnahme, die wirkt

Vier Bedingungen, allesamt banal:

• die Sitemap existiert
• sie ist in der robots.txt angegeben
• sie ist aktuell
• sie ist nicht leer

Es gibt hier nichts Spannendes zu erzählen, und genau deshalb wird dieser Punkt jahrelang übersehen. Ihn abzuarbeiten dauert eine Viertelstunde und erfordert niemandes Zustimmung.

Geschwindigkeit, und jetzt mal ehrlich

Core Web Vitals - LCP, CLS, INP - sind das schwächste Glied dieser Liste, und ich behaupte nichts anderes.

Der Zusammenhang zwischen Seitengeschwindigkeit und Zitierbarkeit in KI-Antworten ist deutlich lockerer als im klassischen SEO. Die Branche verkauft derzeit jeden alten Punkt aus SEO-Audits als "kritisch für KI", und die Leserschaft bekommt langsam ein Gespür dafür.

Der tatsächliche Mechanismus ist ein anderer und enger: Ein Bot, der eine Seite live abruft, um eine Nutzerfrage zu beantworten, hat begrenzt Zeit. Eine Seite, die zu langsam lädt, passt schlicht nicht hinein. Das ist Grund genug, sich um Geschwindigkeit zu kümmern, aber verwechseln wir es nicht mit einem Ranking-Signal.

Die Liste für Ihre IT

Kopieren und als Fragen verschicken, nicht als Anweisungen:

1. Sperren wir in der robots.txt einen der KI-Bots? Welche genau, mit Namen?
2. Setzen Server, CDN oder eine vorgelagerte Schicht irgendwo einen X-Robots-Tag-Header?
3. Hat ein Bereich der Website ein meta robots mit noindex im Code, das aus der Testumgebung übrig geblieben ist?
4. Weist unser Bot-Schutz Anfragen anhand des User-Agents ab? Was genau steht auf der Sperrliste?
5. Steht der zentrale Inhalt im rohen HTML oder wird er per JavaScript nachgeladen?
6. Ist die Sitemap aktuell und in der robots.txt angegeben?

Wenn Sie das selbst durchgehen möchten, reicht diese Liste - es sind ein paar Stunden Arbeit und null Budget.

Wenn Sie es lieber gleich geprüft haben möchten, machen wir genau diesen Audit im Paket Pro (und in Premium, das es enthält). Der GEO-Audit umfasst 22 Prüfungen, darunter jeden Punkt der obigen Liste:

• welche Bots Zutritt haben, welche gesperrt sind und auf welcher der drei Ebenen
• wie viel Inhalt von Ihrer Seite nach Abzug des JavaScripts übrig bleibt, samt einem Ausschnitt dessen, was der Bot bekommt
• ob der Bot-Schutz die KI-Crawler abweist
• ob die Sitemap steht und ob die Seite zeitlich hineinpasst

Getrennt davon messen wir die tatsächliche Präsenz Ihrer Marke in ChatGPT, Gemini, Claude, Perplexity und Google AI Overviews - und zeigen, wie Sie im Vergleich zum Wettbewerb dastehen.

Aber selbst wenn Sie nichts mit uns machen: Gehen Sie diese Liste durch. Sie ist der günstigste Punkt im gesamten GEO und der einzige, an dem sich durch eine einzige Konfigurationszeile alles verlieren lässt.