Jede Woche stellen Kunden dieselbe Frage: Soll ich eine llms.txt-Datei anlegen, und soll ich meine Website vor AI sperren? Beide Fragen verdienen eine klare Antwort ohne Hype — denn die falsche Entscheidung kostet dich Sichtbarkeit genau dort, wo Käufer heute recherchieren, noch bevor sie überhaupt auf deine Seite kommen.

Was llms.txt wirklich ist

llms.txt ist ein vorgeschlagener Standard: eine einzelne Markdown-Datei im Stammverzeichnis deiner Domain (/llms.txt), die deine wertvollsten Seiten auflistet, damit ein LLM sie schnell findet und versteht, ohne sich durch Ballast zu wühlen. Stell es dir als kuratiertes Inhaltsverzeichnis für Maschinen vor — eine kurze Karte in einfacher Sprache, die sagt: „Das ist wichtig, und hier liegt es."

Ehrlich gesagt: Stand Anfang 2026 hat kein großer AI-Anbieter offiziell bestätigt, dass er llms.txt liest. Google, OpenAI, Anthropic und Perplexity haben es nicht befürwortet, und es gibt echte Debatten darüber, ob es jemals breite Verbreitung findet. Betrachte die Datei also als günstige Absicherung, nicht als Ranking-Hebel — wenige Stunden Aufwand, harmlos falls ignoriert, potenziell nützlich falls sich der Standard durchsetzt. Was sie nicht ist: ein Ersatz für saubere Seitenstruktur, eine Sitemap oder starke Inhalte.

Die wichtigsten AI-Crawler und ihre User-Agents

Zugriffskontrolle beginnt damit, zu wissen, wer anklopft. Die wichtigsten User-Agents:

• GPTBot — OpenAI, sammelt Trainingsdaten
• OAI-SearchBot — OpenAI, speist die Suchergebnisse von ChatGPT
• ClaudeBot — Anthropic, Training und Abruf
• PerplexityBot — Perplexity, Indexierung für die Answer-Engine
• Google-Extended — Googles Schalter für Gemini und AI-Training (getrennt von der normalen Google-Indexierung)
• Bytespider, Amazonbot, Applebot-Extended — weitere große Akteure, die du kennen solltest

Ein wichtiger Unterschied: Google-Extended zu blockieren entfernt dich nicht aus der normalen Google-Suche. Es deaktiviert nur das AI-Training. Beides zu verwechseln ist der häufigste Fehler, den ich sehe.

So steuerst du den Zugriff mit robots.txt

Das ist die Datei, die Crawler tatsächlich respektieren. Du legst Regeln pro User-Agent als Klartext in /robots.txt fest. Um AI-Trainings-Crawler zu blockieren und klassisches SEO zu erhalten:

```
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: PerplexityBot
Disallow: /

Normale Suchmaschinen bleiben willkommen

User-agent: *
Allow: /
```

Denk daran: robots.txt ist eine höfliche Bitte, keine Mauer. Seriöse Crawler halten sich daran, unseriöse möglicherweise nicht. Für wirklich sensible Inhalte nutze Authentifizierung, nicht robots.txt.

Blockieren oder zulassen? Der eigentliche Kompromiss

Das ist die strategische Frage. Blockieren schützt deine Inhalte davor, für das Modelltraining genutzt und ohne Quellenangabe gescrapt zu werden. Zulassen bedeutet, dass deine Expertise zitiert, genannt und angezeigt werden kann, wenn jemand ChatGPT oder Perplexity zu deiner Branche befragt — und genau dort beginnt zunehmend die Kaufüberlegung.

Wäge so ab:

• Tendiere zum Blockieren, wenn dein Content dein bezahltes Produkt ist (Kurse, Studien, Daten hinter Paywall) oder du strengen Lizenzen unterliegst.
• Tendiere zum Zulassen, wenn du Sichtbarkeit, Leads und Autorität willst — das gilt für die meisten Dienstleister, B2B, lokale Anbieter und Publisher, die von Nachfrage leben statt vom Text selbst.

Es gibt keinen neutralen Standard. Blockieren zu wählen heißt, in AI-Antworten zu deiner Kategorie abwesend zu sein — und deine Wettbewerber füllen diese Stille nur zu gern.

Beobachte, was Crawler tatsächlich tun

Eine Policy, die du nie überprüfst, ist eine Vermutung. Sind die Regeln einmal aktiv, sieh dir deine Server-Logs oder Analytics nach AI-User-Agents an, um zwei Dinge zu bestätigen: dass die erlaubten Crawler vorbeikommen und die blockierten zurückgewichen sind. Klopft ein Bot weiter an Pfade, die du gesperrt hast, ist er entweder falsch konfiguriert oder hält sich nicht an die Regeln — in beiden Fällen ein nützliches Signal. Wiederhole das vierteljährlich, denn Crawler-Namen und -Verhalten ändern sich schneller als jede Dokumentation.

Eine ausgewogene Policy für die meisten Unternehmen

Für die meisten Firmen, die ich berate, lautet die pragmatische Haltung:

1. Erlaube Such- und Answer-Engine-Crawler (OAI-SearchBot, PerplexityBot, Googlebot), damit du in AI-Ergebnissen erscheinst.
2. Entscheide bewusst über reine Trainings-Crawler (GPTBot, Google-Extended) — blockiere nur bei einem echten Lizenz- oder IP-Grund.
3. Veröffentliche eine saubere llms.txt mit Fokus auf deine Kernseiten — günstig und zukunftssicher.
4. Mach Inhalte wirklich zitierfähig: klare Antworten oben, strukturierte Überschriften, fachliche Tiefe. Genau diese GEO/AEO-Arbeit bringt Zitate.

Sichtbarkeit in AI-Antworten wird so entscheidend, wie es einst die erste Seite der Suche war. Steuere die Tür bewusst — aber für die meisten ist es klug, sie offen zu lassen und den Content zitierwürdig zu machen.