llms.txt vs. robots.txt: Unterschiede und das richtige Zusammenspiel

robots.txt steuert den Zugriff: Sie legt fest, welche Crawler welche Bereiche abrufen dürfen. llms.txt dagegen soll das Verständnis erleichtern, indem sie die wichtigsten Seiten kuratiert auflistet. Beide Dateien liegen im Stammverzeichnis, erfüllen aber gegensätzliche Aufgaben und ersetzen sich nicht.

Zwei Dateien, zwei Aufgaben

Die robots.txt gibt es seit den Anfängen des Webs und ist seit RFC 9309 formal als Robots Exclusion Protocol beschrieben. Sie arbeitet mit Regeln wie User-agent und Disallow. Kooperative Crawler lesen sie vor dem Abruf und halten sich daran; technisch erzwingen kann sie das nicht.

Die llms.txt ist jünger. Sie wurde im September 2024 von Jeremy Howard vorgeschlagen und enthält keine Regeln, sondern Markdown: Name, Zusammenfassung, Linklisten. Wer wissen möchte, wie das im Detail aussieht, liest Was ist llms.txt?.

Der Vergleich in der Übersicht

Kriterium	robots.txt	llms.txt
Zweck	Zugriff erlauben oder sperren	Inhalte für Sprachmodelle kuratieren
Status	Formal beschrieben (RFC 9309)	Aufkommende Konvention, kein Standard
Format	Regeln pro User-Agent	Markdown mit H1, Blockquote, Linklisten
Verbreitung bei Crawlern	Breit respektiert	Auswertung durch große Anbieter nicht dokumentiert
Fehlerfolge	Falsche Regel sperrt Inhalte	Fehler kostet höchstens Orientierung
Pflege	Bei Strukturänderungen	Quartalsweise Durchsicht sinnvoll

Kernsatz: Erst Zugang, dann Orientierung. Eine llms.txt ohne offene Tür ist ein Wegweiser vor einer verschlossenen Stadt.

Warum die Reihenfolge zählt

Im Leitfaden von BusinessMCP heißt es sinngemäß, dass eine llms.txt bei gleichzeitigem Blockieren von KI-Crawlern ineffektiv ist; dort wird die Sperre per CDN-Regel oder Bot-Schutz ausdrücklich als häufige Ursache genannt. Das passt zur Logik: Wenn der Crawler Ihre Domain nicht abrufen darf oder von der Firewall abgewiesen wird, erreicht ihn auch die Datei nicht.

Prüfen Sie deshalb zuerst den Zugang. Der AI-Crawler-Checker von BusinessMCP zeigt, welche KI-Crawler Ihre robots.txt zulässt und ob eine llms.txt veröffentlicht ist. Laut Seite nennt die FAQ unter anderem GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended, ChatGPT-User, Claude-Web und OAI-SearchBot. Das Web-Werkzeug ist dort als kostenlos aufgeführt.

Praxisbeispiel: Beides richtig kombinieren

Ein Kölner Händler möchte in KI-Antworten auftauchen, aber nicht jeden Crawler dulden. Eine mögliche Vorgehensweise:

1. robots.txt prüfen: Sind die gewünschten KI-Crawler erlaubt, ohne dass sensible Bereiche wie Warenkorb oder Kundenkonto offen stehen?
2. CDN- und Firewall-Einstellungen testen. Manche Schutzregeln blockieren unbekannte Bots pauschal.
3. llms.txt mit den wichtigsten Kategorien und Informationsseiten bauen, etwa mit dem kostenlosen llms.txt Generator von BusinessMCP.
4. Beides dokumentieren und quartalsweise prüfen.

Die genauen Namen und Zwecke der OpenAI-Crawler sind in der Dokumentation des Anbieters beschrieben (siehe Quellen); andere Anbieter veröffentlichen eigene Listen. Da sich diese Angaben ändern können, sollten Sie sie nicht aus Blogartikeln, auch nicht aus diesem, kopieren, sondern bei der Quelle nachlesen.

Häufige Missverständnisse

• "llms.txt schützt meine Inhalte." Falsch. Sie enthält keine Zugriffsregeln.
• "Mit llms.txt muss ich robots.txt nicht mehr pflegen." Falsch. Die robots.txt bleibt die Stelle für Zugriffssteuerung.
• "Wer llms.txt hat, wird zitiert." Nicht belegt. Siehe Bringt llms.txt etwas?.
• "Training und Abruf sind dasselbe." Nein. Manche Anbieter trennen Crawler für Training und für Live-Abrufe; die Unterscheidung steht in deren Dokumentation und beeinflusst, welche Regeln Sie setzen.

Wie Sie Crawler konkret zulassen, ohne die Kontrolle zu verlieren, zeigt KI-Crawler zulassen. Wer aus Kosten- oder Rechtsgründen bewusst sperren will, sollte die Konsequenzen für die Sichtbarkeit kennen: Gesperrte Crawler können Ihre Inhalte schlechter in Antworten berücksichtigen. Das Gesamtbild beschreibt Generative Engine Optimization.

Hinweis: Dies ist keine Rechtsberatung. Fragen zu Urheberrecht und Text- und Data-Mining-Vorbehalten klären Sie mit einer fachkundigen Person.

Weitere Dateien im Umfeld: sitemap.xml, ai.txt und Meta-Anweisungen

Neben robots.txt und llms.txt kursieren weitere Vorschläge. Die sitemap.xml meldet Suchmaschinen alle URLs und ist weit verbreitet. Für andere Konventionen, etwa Dateien mit Nutzungsvorbehalten für KI-Training oder Meta-Anweisungen im HTML-Kopf, gilt: Der Stand ändert sich, und ob ein Anbieter sie beachtet, steht in seiner eigenen Dokumentation. Wir bewerten sie hier nicht im Einzelnen, sondern empfehlen, bei den Anbietern nachzulesen, bevor Sie sich auf eine Wirkung verlassen.

Als Entscheidungsregel genügt: Alles, was Zugriff steuern soll, gehört zuerst in die robots.txt, weil sie das etablierte, beschriebene Protokoll ist. Alles, was erklären soll, gehört in die llms.txt oder in Ihre Seiten selbst.

Ein Prüfablauf für beide Dateien

1. robots.txt abrufen und jede Zeile verstehen. Gibt es ein pauschales Disallow: / für alle? Das wäre auch für KI-Crawler eine Sperre.
2. Gezielte Regeln für KI-User-Agents lesen. Entsprechen sie Ihrer Absicht? Wer sie vor Jahren aus einer Vorlage übernommen hat, hat vielleicht mehr gesperrt als gewollt.
3. Server- und CDN-Regeln testen, nicht nur Dateien lesen. Eine Datei erlaubt, die Firewall verbietet, ergibt faktisch ein Verbot.
4. llms.txt abrufen und prüfen, ob sie Status 200 liefert und aus reinem Text besteht.
5. Inhalt abgleichen: Verweist die llms.txt auf Bereiche, die die robots.txt sperrt? Das wäre ein Widerspruch, den Sie auflösen sollten.
6. Dokumentieren, wann Sie was geändert haben. Das erleichtert später die Ursachensuche.

Wer pflegt was?

In vielen Firmen liegt die robots.txt bei der IT oder der SEO-Verantwortlichen, die llms.txt beim Marketing. Das ist praktisch, birgt aber Reibung: Das Marketing kann nicht erkennen, dass die Firewall Bots blockiert, und die IT weiß nicht, welche Seiten in der llms.txt stehen. Legen Sie deshalb eine gemeinsame Prüfung fest, etwa quartalsweise, bei der beide Dateien nebeneinander liegen. Die Anleitung für die Datei selbst finden Sie unter llms.txt erstellen.

Wann Sie beides bewusst anders einstellen

Es gibt legitime Konstellationen, in denen Sie nicht beides öffnen wollen: Ein Medienhaus mit Bezahlschranke, ein Anbieter mit lizenzierten Inhalten oder ein Betrieb mit Inhalten, die ausdrücklich nicht in Antworten auftauchen sollen. Dort ist eine bewusste Sperre in der robots.txt die richtige Wahl, und eine llms.txt wäre überflüssig. Für alle anderen, die sichtbar werden wollen, ist die Kombination aus offenem Zugang und kuratierter Übersicht die sinnvolle Grundeinstellung. Als zusätzliche Informationsquelle zum Thema bietet BusinessMCP den llms.txt-Leitfaden, der die Beziehung zwischen beiden Dateien ebenfalls erklärt.

Merkhilfe für den Alltag

Stellen Sie sich Ihre Website als Gebäude vor. Die robots.txt ist das Türschild am Eingang: Sie sagt, wer hereindarf und welche Räume gesperrt sind. Die llms.txt ist der Wegweiser in der Eingangshalle: Sie zeigt, wo die wichtigsten Abteilungen liegen. Ein Wegweiser nützt nichts, wenn die Tür verschlossen ist, und ein offenes Haus ohne Wegweiser zwingt Besucher zum Suchen. Beides zu pflegen ist deshalb keine Doppelarbeit, sondern zwei Seiten derselben Aufgabe: Gäste hereinlassen und ihnen helfen, das Richtige zu finden.