In den Server-Logs eines Steuerbüros in Leipzig stehen zwischen den Zugriffen echter Mandanten Besucher mit Namen wie GPTBot, ClaudeBot und PerplexityBot. Keiner von ihnen wird je anrufen oder einen Termin buchen. Und doch entscheiden diese KI-Crawler mit darüber, ob das Büro genannt wird, wenn jemand ChatGPT nach einer Steuerberatung in Leipzig fragt.
Zwei Sorten KI-Crawler lesen Ihre Website
KI-Crawler sind Programme, die Websites für Sprachmodelle einsammeln, und sie kommen in zwei Sorten. Die einen lesen für das Training künftiger Modelle, etwa GPTBot von OpenAI, ClaudeBot von Anthropic oder CCBot, dessen frei verfügbares Archiv vielen Trainingsdatensätzen zugrunde liegt. Die anderen rufen eine Seite ab, um sie in Antworten zu zitieren, so wie OAI-SearchBot für die Suche in ChatGPT oder PerplexityBot. Für einen Betrieb ist genau dieser Unterschied entscheidend, denn nur die zweite Sorte schickt unmittelbar Besucher.
Die robots.txt als Hausordnung
Gesteuert wird der Zugang über die robots.txt, eine kleine Textdatei im Hauptverzeichnis jeder Website. Darin lässt sich für jeden Bot einzeln festlegen, welche Bereiche er lesen darf. Seit 2022 ist das Format als RFC 9309 standardisiert, eine Pflicht zur Einhaltung entsteht dadurch aber nicht. Die großen Anbieter erklären, sich daran zu halten. Ein Schloss ist die Datei trotzdem nicht, eher ein gut lesbares Schild an der Tür.
Blockieren oder einladen
Der naheliegende Reflex ist, alle KI-Bots auszusperren. Cloudflare etwa blockiert KI-Crawler bei neu eingerichteten Domains seit Juli 2025 standardmäßig, oft ohne dass der Inhaber davon weiß. Damit verschwindet ein Betrieb aber auch aus den Antworten, in denen er empfohlen werden könnte. Für die meisten kleinen Unternehmen ist ein Mittelweg sinnvoller. Antwort-Bots bleiben zugelassen, Trainings-Crawler werden nach eigener Abwägung gesperrt. Wer Google-Extended blockiert, entzieht seine Inhalte dem Training von Gemini und bleibt laut Google in der normalen Suche unverändert sichtbar.
Eine solche Datei muss niemand aus dem Gedächtnis schreiben. Ein kostenloser robots.txt-Generator trennt Trainings-Crawler und Abrufer bereits in seiner Bot-Liste und prüft die fertige Datei auf Fehler, bevor sie auf den Server kommt.
Das Urheberrecht liest mit
Das deutsche Urheberrecht erlaubt das automatisierte Auswerten frei zugänglicher Inhalte grundsätzlich, solange der Rechteinhaber keinen Nutzungsvorbehalt in maschinenlesbarer Form erklärt hat (§ 44b UrhG). Ob eine robots.txt als solcher Vorbehalt genügt, ist juristisch noch nicht abschließend geklärt. Wer seine Texte ausdrücklich nicht im Training sehen will, formuliert den Vorbehalt deshalb häufig zusätzlich im Impressum.
Und was ist mit llms.txt?
Die llms.txt ist ein Vorschlag aus dem Jahr 2024, eine Datei im Hauptverzeichnis, die den Inhalt einer Website in knapper Form für Sprachmodelle zusammenfasst. Die Idee ist einleuchtend. Ob die großen Anbieter die Datei tatsächlich auswerten, ist bislang allerdings kaum dokumentiert. Sie schadet nicht, ersetzt aber weder eine saubere robots.txt noch klar gegliederte Seiten, die eine Maschine ohnehin versteht.
Eine Minute für den Selbsttest
Die eigene robots.txt ist für jeden lesbar, wenn man an die Domain den Zusatz /robots.txt hängt. Steht dort ein pauschales Verbot für alle Bots, das niemand bewusst gesetzt hat, ist das die günstigste Korrektur, die eine Website je bekommen wird.