Ein robots.txt-Eintrag stoppt künftig KI-Training bei Google, OpenAI und Microsoft

Wer seine Website bisher vom KI-Training fernhalten wollte, musste für jedes Unternehmen eine eigene Regel eintragen und Namen wie GPTBot, ClaudeBot und Google-Extended einzeln lernen. Google, OpenAI, Anthropic und Microsoft sagen nun, sie würden alle dieselbe Zeile auswerten: ein gemeinsames „Policy Token“ in der robots.txt – jener kleinen Textdatei, die Suchmaschinen seit den Anfängen des Webs sagt, welche Bereiche sie nicht aufrufen sollen. Einmal eingetragen, gibt diese Zeile vier der größten KI-Entwickler dieselbe Antwort.

Die Idee stammt von Kevin Kelley, einem technischen Leiter für Standards bei Anthropic. Er legte sie der Internet Engineering Task Force vor, jener Organisation, die die technischen Regeln des Internets festlegt. Der elegante Kniff: Es wird keine neue Syntax erfunden. Website-Betreiber tragen eine gewöhnliche Regelgruppe ein, doch in der User-Agent-Zeile steht statt eines Crawlers ein Verwendungszweck: __usage_ai-training. Darunter bedeutet „Disallow: /“, dass nichts auf der Website zum Training verwendet werden soll. Mit einer „Allow“-Zeile lassen sich Ausnahmen festlegen – etwa ein Pressekit, aus dem ein Unternehmen ein Modell gern lernen lassen würde.

Für Blogs, Shops und Nachrichtenredaktionen ist besonders wichtig, was die Zeile nicht verändert. Sie legt fest, wie Inhalte verwendet werden dürfen, nicht, wer die Website besuchen darf – die Suche funktioniert also weiter. Google erklärt, dass es eine Website, die sich mit dem gemeinsamen Token abmeldet und Google-Extended nicht gesondert erwähnt, als für Google-Extended gesperrt behandeln wird. Das betrifft das Gemini-Training, die Seite bleibt aber in der Google-Suche sichtbar. Microsoft gibt für Bing dasselbe Versprechen: Die Einstellung ändert nichts daran, ob eine Seite in den Suchergebnissen erscheinen kann.

Microsoft geht noch einen Schritt weiter als die anderen. Zusätzlich zur Trainingseinstellung führt das Unternehmen eine eigene Grounding-Präferenz ein. Sie lässt sich für jede Seite einzeln über ein Meta-Tag oder einen HTTP-Header festlegen und entscheidet darüber, ob eine Seite als Grundlage für Antworten dienen darf, die Bing, Copilot und Microsoft 365 unmittelbar generieren. Eine Website könnte das Training untersagen und Grounding trotzdem zulassen – und damit Zitate und Links in KI-Antworten behalten. Microsoft warnt, dass ein Nein zu Grounding die Sichtbarkeit einer Website in diesen Angeboten „deutlich verringern“ werde. Keine der beiden Einstellungen garantiere jedoch, dass Inhalte berücksichtigt werden, Besucher ankommen oder eine Vergütung gezahlt wird.

Ein Haken steckt in der Datei, die die meisten Websites bereits haben. Kelleys Entwurf sorgt bewusst dafür, dass die vertraute Wildcard-Regel „User-agent: *“ das neue Token nicht erfasst. Eine robots.txt, die heute sämtliche Bots aussperrt, drückt daher keinerlei Präferenz zum KI-Training aus. Wer sich davon abmelden will, muss die neue Regelgruppe ausdrücklich eintragen. Das Signal gilt außerdem nur für die Zukunft: Was die Unternehmen bereits vor dem Eintrag gecrawlt haben, steckt schon in ihren Trainingsdatensätzen, und der Entwurf verpflichtet keines von ihnen zur Einhaltung. Es ist eine Bitte, deren Beachtung vier Unternehmen zugesagt haben – keine Sperre.

Am auffälligsten ist, wer fehlt: Meta. Andy Stone, Leiter der Kommunikation des Unternehmens, sagte gegenüber The Verge, ein gemeinsames Signal, das mehrere Anbieter auf einmal erreicht, sei „ein wichtiger Schritt“, ließ aber offen, ob Meta es beachten wird. Der Zeitpunkt ist heikel. Am selben Tag, an dem die vier Unternehmen ihre Unterstützung bekannt gaben, traten Metas aktualisierte Geschäftsbedingungen in Kraft. Sie erlauben dem Unternehmen, Crawler auf Websites zu schicken, die mit Facebook-, Instagram- und WhatsApp-Unternehmenskonten verbunden sind, und die gesammelten Daten zum Training seiner Produkte zu verwenden.

Die Einführung verläuft uneinheitlich. Anthropic hat bereits mit der Umsetzung des Tokens begonnen, doch Kelley schrieb, es werde dauern, bis alle Dienste abgedeckt seien. Microsoft wird das Token bei Crawling-Vorgängen ab dem 1. Februar 2027 beachten und nach dem 1. März seine älteren NoArchive- und NoCache-Tags nicht mehr als Signale für Training oder Grounding auswerten. Google will das Token 2027 unterstützen und regelmäßig über Fortschritte informieren, während OpenAI sich lediglich auf die kommenden Monate festgelegt hat. Der Vorschlag muss noch die Arbeitsgruppe AI Preferences der IETF durchlaufen, bevor er zu einem formellen Standard wird. Google weist darauf hin, dass er zum EU-Verhaltenskodex für KI-Modelle mit allgemeinem Verwendungszweck passt, der robots.txt bereits als wichtigsten Weg für Verlage vorsieht, maschinenlesbare Präferenzen mitzuteilen.

Bemerkenswert an diesem Moment ist vor allem, wie klein die Lösung ausfällt. Nach Jahren voller Klagen und Lizenzstreitigkeiten darüber, wem das offene Web gehört, besteht die erste gemeinsame Antwort aus wenigen Zeichen in einer einfachen Textdatei, die jeder innerhalb einer Minute bearbeiten kann. Wie viel Schutz sie bietet, hängt davon ab, wer sich als Nächstes anschließt – und das Unternehmen mit den meisten Unternehmensseiten auf seinen Plattformen hat noch nicht zugesagt.

Schlagwörter: künstliche Intelligenz, OpenAI, Google, Anthropic, microsoft, meta