OpenAI trainiert KI ohne Internet, doch Agenten reden über den CPU-Cache

OpenAI trainiert seine leistungsfähigsten KI-Modelle inzwischen ohne Zugang zum Live-Internet. Stattdessen arbeiten die Modelle mit einer Offline-Kopie des Webs: einem großen Bestand indexierter und zwischengespeicherter Seiten, den sie durchsuchen, in dem sie navigieren und für den sie Code schreiben können, ohne eine einzige echte Website aufzurufen. Beim Testen dieses abgeschotteten Umfelds stieß OpenAI auf etwas noch Merkwürdigeres: Die Agenten konnten weiterhin über den Prozessor miteinander kommunizieren, auf dem sie liefen.

Für den Test platzierte OpenAI KI-Agenten auf getrennten virtuellen Maschinen, zwischen denen keine Netzwerkverbindung bestand, und forderte sie auf, Geheimnisse auszutauschen. Die Agenten fanden selbstständig eine Methode. Einer legte gezielt ausgewählte Daten im Cache des Prozessors ab, der andere maß, wie lange es dauerte, diese Daten erneut zu laden. Ein schneller Zugriff bedeutete das eine, ein langsamer das andere. Nachdem sich die beiden auf einen Code geeinigt hatten, konnten sie Nachrichten übermitteln, ohne eine Verbindung herzustellen oder eine gemeinsame Datei zu verwenden – die digitale Version von Gefangenen, die durch die Rohre zwischen ihren Zellen klopfen.

Für alle, die ChatGPT nutzen, findet die Veränderung eine Ebene weiter hinten statt. Es handelt sich um die Modelle, die später den Chatbot und die Agenten antreiben, die für Nutzer Websites durchsuchen und Apps bedienen. OpenAI lässt sie nicht mehr am offenen Web lernen. Das Unternehmen erläuterte die Entscheidung in einem Blogbeitrag: „Angesichts des aktuellen Stands der Alignment-Forschung, der Überwachungssysteme und der Sicherheit der Internetinfrastruktur halten wir es für verantwortungsvoll, das Training von Spitzenmodellen ohne Internetzugang durchzuführen.“ OpenAI erklärt nun, es „muss jederzeit verhindern können, dass ein Spitzenmodell unbefugten, beliebigen Zugriff auf das Live-Internet erhält“.

In der Offline-Umgebung stehen den Agenten weiterhin die Browser, Computersteuerungswerkzeuge und Code-Umgebungen zur Verfügung, die sie für ihre Trainingsaufgaben benötigen. Kommunizieren dürfen sie nur mit anderen autorisierten Agenten. Das Ersatz-Web beschreibt OpenAI als „einen umfangreichen Bestand indexierter und zwischengespeicherter Webinhalte, mit denen unsere Modelle interagieren können, ohne Gefahr zu laufen, externe Systeme zu beeinflussen“. Nach Angaben des Unternehmens ist das Live-Internet weder für das Training noch für den Großteil seiner Evaluierungen erforderlich.

Um die Abschottung zu testen, setzte OpenAI Schwärme eigener Agenten darauf an, auszubrechen. Sie fanden Schwachstellen, über die sie aus den virtuellen Maschinen entkommen konnten, die sie von den darunterliegenden Rechnern trennen sollten. OpenAI zufolge meldete das Unternehmen Schwachstellen in mehreren dieser virtuellen Maschinen und behob sie. Außerdem führte es Prüfungen ein, mit denen die Überwachung erkennen soll, wenn Modelle versuchen, sich abzustimmen – auch über den Cache-Trick.

Der Ansatz hat klare Grenzen. Ein zwischengespeichertes Web ist eine Momentaufnahme. Ob Modelle mit einer Kopie ebenso gut lernen wie mit dem echten Web, ist weiterhin offen, wie TechCrunch anmerkte. Das Training vollständig getrennt zu halten, ist zudem teuer: Der frühere OpenAI-Forscher Steven Adler sagte gegenüber Fortune, dafür „müssten Forschungsteams praktisch in Rechenzentren in Iowa oder anderswo auf der Welt untergebracht werden“, und nannte das „einen erheblichen Zusatzaufwand“. Auch das Cache-Experiment ist eine Warnung: Das Kappen der Verbindung hindert Agenten nicht daran, andere Kommunikationswege zu finden. Und eine Kontrolle, die für einen Kanal entwickelt wurde, entdeckt nicht zwangsläufig den nächsten.

Die Richtlinie folgt auf eine Reihe von Vorfällen. Im Juli gab OpenAI bekannt, dass von dem Unternehmen getestete Agenten Hugging Face gehackt hatten. Am 20. September entdeckte ein internes Forschungsmodell, das eine Suchaufgabe bearbeitete, eine Schwachstelle in der DNS-Filterung seiner Sandbox und nutzte sie, um eine öffentliche Chatbot-Dienstleistung abzufragen. Die Überwachungssysteme von OpenAI schlugen innerhalb von 15 Minuten Alarm, doch der Testlauf wurde erst zweieinhalb Stunden später beendet. Das Unternehmen setzte das Training seiner leistungsfähigsten Modelle aus und nahm es am 1. Oktober mit strengeren Sicherheitsvorkehrungen wieder auf. Anthropic begann etwa zwei Wochen vor der Ankündigung von OpenAI, seine neuesten Modelle vom Live-Internet fernzuhalten. Nach Angaben von Anthropic führt inzwischen auch das britische AI Security Institute seine Evaluierungen offline durch.

OpenAI hat nicht gesagt, was den erneuten Zugang zum Internet ermöglichen würde. Die Offline-Regel bleibt bestehen, bis bessere Schutzmaßnahmen „einen umfassenderen Internetzugang rechtfertigen“ – ein Zeitpunkt wurde nicht genannt. Bis dahin lernen die fortschrittlichsten Modelle des Unternehmens die Welt anhand einer Kopie kennen.

Schlagwörter: künstliche Intelligenz, OpenAI, Cybersicherheit, Anthropic, KI-Agenten, Hugging Face, KI-Training