Lesezeit: ca. 8 Minuten
- robots.txt steuert KI-Crawler genauso wie klassische Bots: pro User-Agent und Pfad, direkt im Root Ihrer Domain.
- GPTBot, ClaudeBot und Google-Extended respektieren robots.txt meist – PerplexityBot kann Regeln teilweise ignorieren, deshalb ist eine WAF empfehlenswert.
- Mit
AllowundDisallowlassen sich gezielt einzelne Bots erlauben (z. B. nur GPTBot für /blog/ freigeben). - robots.txt verhindert nur zukünftiges Crawling; gegen bereits verarbeitete Trainingsdaten helfen rechtliche Signale wie TDMRep und Monitoring mit Tools wie LLM Tracker.
Wie blockiere ich KI-Crawler effektiv über robots.txt?
Atomic Answer Capsule: Legen Sie eine robots.txt im Root-Verzeichnis Ihrer Domain an (z. B. https://ihre-domain.de/robots.txt) und definieren Sie pro Bot einen User-agent-Block mit Disallow: /. Bots wie GPTBot oder ClaudeBot respektieren diese Regel meistens, PerplexityBot manchmal nicht.
Die Grundidee ist simpel, wird aber häufig unterschätzt: Die robots.txt muss im Root liegen, als text/plain ausgeliefert werden und wird von seriösen Crawlern vor jedem Zugriff abgefragt. Schreiben Sie für jeden KI-Bot einen eigenen Block — so behalten Sie maximale Kontrolle.
User-agent: GPTBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: Anthropic-AI Disallow: / User-agent: ClaudeBot Disallow: / User-agent: PerplexityBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: /
Wenn Sie wirklich alle Crawler aussperren wollen, können Sie auch ein Wildcard-Block verwenden:
User-agent: * Disallow: /
Hinweis: Diese Maßnahme ist sehr radikal — sie entfernt auch die klassische Suchmaschinen-Sichtbarkeit. Viele Unternehmen blocken initial alles aus Angst vor KI-Training und wundern sich später, dass sie in ChatGPT-Antworten nicht mehr vorkommen.
Welche Anweisungen erlauben gezielt GPTBot, PerplexityBot und ClaudeBot?
Atomic Answer Capsule: Um GPTBot zu erlauben, schreiben Sie User-agent: GPTBot mit Allow: /. Für ClaudeBot und PerplexityBot funktioniert es analog — jeweils mit dem korrekten User-Agent-Namen.
Oft ist es klüger, nur bestimmte Bots zuzulassen und andere zu sperren — vor allem, wenn Sie in KI-Antworten sichtbar sein möchten, aber nicht jedes Scraping akzeptieren wollen.
User-agent: GPTBot Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Disallow: / User-agent: Anthropic-AI Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Allow: /
Sie können auch nur bestimmte Verzeichnisse freigeben:
User-agent: GPTBot Allow: /blog/ Disallow: /
So darf GPTBot nur den Blog crawlen, während z. B. Preisseiten oder interne Tools geschützt bleiben.
Praxis-Tipp: Erlauben allein garantiert keine Sichtbarkeit. Ob Ihre Marke in KI-Antworten auftaucht, bestimmt ein anderes Zusammenspiel aus Relevanz, Anfrage-Matching und Modellverhalten. Ein Monitoring-Tool wie LLM Tracker zeigt, ob und wie oft Ihre Domain in Antworten von ChatGPT, Claude oder Perplexity zitiert wird.
Wie teste ich, ob meine robots.txt KI-Crawler korrekt steuert?
Atomic Answer Capsule: Testen Sie mit dem robots.txt-Tester der Google Search Console, mit direktem Browseraufruf der Datei oder per curl mit angegebenem User-Agent, z. B. curl -A "GPTBot" https://ihre-domain.de/.
Gängige Prüfmethoden:
- Direkt im Browser:
https://ihre-domain.de/robots.txtaufrufen — wird die Datei angezeigt oder gibt es einen 404? - Google Search Console: Syntax prüfen und sehen, ob URLs für Google geblockt sind (deckt nur Google ab).
- curl-Simulation:
curl -A "GPTBot" https://ihre-domain.de/irgendeine-seite— 200er-Status heißt der Bot kommt durch, 403/Timeout deutet auf Block via WAF/CDN hin. - Server-Logs: Suchen Sie nach bekannten User-Agent-Strings, um echtes Verhalten zu überprüfen.
Wer technisch prüfen will, ob Bots die Regeln ignorieren, vergleicht die IP-Ranges mit offiziellen Angaben der Anbieter und beobachtet auffällige Abweichungen. Ergänzend sollten Sie die Sichtbarkeit in KI-Antworten messen — ein Tool wie LLM Tracker automatisiert genau diese Abfragen an ChatGPT, Claude und Perplexity.
Wie unterscheiden sich KI-Crawler von klassischen Webcrawlern?
Atomic Answer Capsule: Klassische Crawler wie Googlebot indexieren für die Suche; KI-Crawler sammeln Inhalte für Modelltraining oder Retrieval. Beide lesen die robots.txt, aber KI-Bots haben zusätzliche Opt-out-Mechanismen und halten sich nicht immer gleich konsequent dran.
Wesentliche Unterschiede:
- Zweck: Search-Index vs. Training/Retrieval.
- Opt-out-Mechanik: Einige KI-Bots bieten explizite Trainings-Opt-outs (z. B. GPTBot, Google-Extended), andere Varianten (insbesondere nutzergesteuerte Perplexity-Instanzen) befolgen Rules weniger strikt.
- Granularität: Bei KI-Crawlern empfiehlt sich oft eine Trennung von Training und Retrieval über unterschiedliche Pfade oder User-Agents.
- Rechtliche Debatte: KI-Crawler betreffen Text- und Data-Mining stärker; robots.txt wird zunehmend als Signal für TDM verstanden.
Aus GEO-Perspektive ist die große Frage: Erlauben Sie einem Bot den Zugang, bringt Ihnen das Sichtbarkeit in generierten Antworten? Diese Lücke schließt ein Monitoring- und Audit-Tool wie LLM Tracker.
Wie stelle ich sicher, dass nur vertrauenswürdige KI-Crawler zugreifen?
Atomic Answer Capsule: Kombinieren Sie robots.txt-Whitelisting mit einer WAF oder Bot-Protection, weil manche KI-Bots die robots.txt-Regeln ignorieren. Ergänzen Sie rechtliche Nutzungsbedingungen und maschinenlesbare Tags wie TDMRep.
Empfohlene vierstufige Strategie:
- robots.txt-Whitelisting: Erlauben Sie vertrauenswürdige Bots explizit, sperren Sie andere.
- WAF / Bot-Protection: Anbieter wie Cloudflare erkennen Bot-Verhalten und blockieren falsche User-Agents auf Netzwerkebene.
- Rechtliche & maschinenlesbare Signale: Ergänzen Sie AGBs und das TDMRep-Tag:
<meta name="tdm-reservation" content="1">. - Monitoring: Regelmäßige Server-Log-Analyse und Sichtbarkeits-Checks in KI-Antworten.
Wichtig: Vertrauenswürdigkeit bedeutet nicht nur Regelbefolgung, sondern auch Nutzen: Ein Bot, der zwar crawlt, aber nie zu Erwähnungen in KI-Antworten führt, bringt wenig. Daher empfiehlt sich ergänzend ein regelmäßiges Audit mit einem Tool wie LLM Tracker.
Welche rechtlichen Vorgaben gibt es in Deutschland zum Blockieren von KI-Crawlern?
Atomic Answer Capsule: robots.txt ist ein technischer Standard, kein Gesetz. Das Blockieren spezifischer KI-Bots ist in Deutschland grundsätzlich zulässig. robots.txt verhindert aber nur zukünftiges Crawling, nicht die Löschung bereits verarbeiteter Trainingsdaten.
Kernpunkte:
- Technische Konvention: robots.txt ist kein Gesetz, gewinnt aber an rechtlicher Relevanz als Signal für Ihren Willen gegenüber Text- und Data-Mining.
- TDMRep-Tag: Maschinenlesbare Hinweise können Ihre Position stärken, insbesondere in der EU mit bestehenden TDM-Regelungen.
- AGB/Datenschutz: Explizite Nutzungsverbote in den Terms stärken die Rechtslage, auch wenn sie nicht gegen alle Scraper helfen.
- Keine Wirkung rückwirkend: Robots-Regeln wirken nur nach ihrer Veröffentlichung; zuvor gecrawlte Daten bleiben in Trainingssets.
Die Rechtslage ist in Bewegung. Nutzen Sie daher sowohl technische als auch rechtliche Instrumente zusammen — und behalten Sie die tatsächliche Nutzung Ihrer Inhalte in KI-Antworten im Blick.
Warum robots.txt allein nicht reicht – und wie Sie den Überblick behalten
Ergänzend zur Crawler-Steuerung hilft eine kuratierte llms.txt, KI-Systemen die wichtigsten Seiten und Fakten Ihrer Website zu signalisieren.
Atomic Answer Capsule: robots.txt steuert technischen Zugang, sagt aber nichts darüber aus, ob Ihre Marke in KI-generierten Antworten tatsächlich vorkommt. Monitoring ist notwendig, um den Nutzen der Erlaubnis messbar zu machen.
Viele Firmen konfigurieren ihre robots.txt einmal und prüfen nie, ob das Ergebnis tatsächlich die gewünschte Sichtbarkeit bringt. Erst die Kombination aus Zugangskontrolle, Tests und einem Sichtbarkeits-Audit beantwortet die zentrale Frage: Bringt die Erlaubnis überhaupt eine Erwähnung in ChatGPT, Claude oder Perplexity?
Ein praktisches Beispiel: Ein Kunde erlaubte GPTBot und ClaudeBot, sperrte PerplexityBot – später zeigte ein Audit, dass die Zielgruppe jedoch hauptsächlich über Perplexity erreichbar gewesen wäre. Ohne Monitoring wäre diese Erkenntnis ausgeblieben.
Fazit: Setzen Sie Zugangsregeln, testen Sie technisch, und messen Sie inhaltlich mit einem Tool wie LLM Tracker. Nur so vermeiden Sie Entscheidungen im Blindflug.
FAQ
Muss ich GPTBot in der robots.txt explizit erwähnen, oder reicht ein Wildcard-Eintrag?
Ein Wildcard-Eintrag mit User-agent: * gilt nur, wenn kein spezifischerer Block existiert. Wollen Sie GPTBot anders behandeln als andere Bots, brauchen Sie einen eigenen User-agent: GPTBot-Block, der vor der Wildcard-Regel steht.
Was passiert, wenn PerplexityBot meine robots.txt-Sperre ignoriert?
Dann greift die robots.txt-Regel technisch nicht, weil sie auf Freiwilligkeit basiert. In diesem Fall brauchen Sie eine WAF oder Bot-Protection, die Zugriff auf Netzwerkebene blockiert, unabhängig vom User-Agent.
Kann ich robots.txt nutzen, um nur Training zu verbieten, aber Retrieval (Live-Antworten) zu erlauben?
Teilweise, wenn der Anbieter getrennte Bots für Training und Retrieval anbietet (unterschiedliche User-Agents). Dann sperren Sie den Trainings-Bot und erlauben den Retrieval-Bot über separate Blöcke.
Beeinflusst das Erlauben von KI-Crawlern mein klassisches Google-Ranking?
Nein, GPTBot, ClaudeBot und PerplexityBot sind unabhängig von Googlebot. Das Erlauben oder Sperren dieser KI-Bots hat keinen direkten Einfluss auf Ihre Position in der klassischen Google-Suche.
Wie oft sollte ich meine robots.txt für KI-Bots aktualisieren?
Da sich Bot-Namen und Best Practices schnell ändern, empfiehlt sich eine Prüfung alle paar Monate. Neue KI-Crawler tauchen regelmäßig auf; ohne Updates laufen diese unter Umständen unkontrolliert über Ihre Seite.
Ersetzt ein Sichtbarkeits-Tool wie LLM Tracker die robots.txt-Konfiguration?
Nein, beide Maßnahmen ergänzen sich. robots.txt regelt den technischen Zugang für Bots, ein Tool wie LLM Tracker misst, ob dieser Zugang sich in tatsächlicher Sichtbarkeit innerhalb der generierten Antworten niederschlägt.