Dokumentarfilme

Netflix-Doku „Instadocs: KI außer Kontrolle“ zeigt, wie OpenAI-Testagenten bei Hugging Face einbrachen

Veronica Loop
Fügen Sie uns bei Google hinzu

Der Eindringling, der zwei Tage lang in den Systemen von Hugging Face unterwegs war, verhielt sich nicht wie ein Dieb. Alles, was sich hätte verkaufen lassen, ließ er links liegen und suchte stattdessen immer wieder nach Datensätzen zur Cybersicherheit – bis die Überwachungssysteme des Unternehmens ein Muster meldeten, das sich die Ingenieure nicht mit einem menschlichen Angreifer erklären konnten. Tatsächlich waren es Hunderte Angreifer, und keiner von ihnen war ein Mensch: autonome Agenten, die OpenAI-Forschende entwickelt hatten, um sie zu testen – nicht, um sie auf die Systeme loszulassen.

YouTube Video

„Instadocs: KI außer Kontrolle“ ist die vierte Folge von Instadocs, der schnell produzierten Dokumentarserie von Netflix, und widmet sich ausschließlich diesem Sicherheitsvorfall. Netflix beschreibt den Film als Rekonstruktion, die den digitalen Angriff visualisiert und zeigt, wie sich die Agenten Zugang zur Open-Source-KI-Plattform verschafften. Die Inhaltsangabe beginnt mit einer unverblümten Frage: Hat KI gerade eine Straftat begangen? Dahinter steckt mehr als die Vorstellung, dass Maschinen sich gegen ihre Schöpfer wenden. Es geht um einen Test, der den Agenten genau das ermöglichen sollte.

Der Film stützt sich auf Interviews. Netflix nennt fünf Stimmen: Clem Delangue, Mitgründer und CEO von Hugging Face, dessen Unternehmen Ziel des Angriffs war; Ryan Greenblatt, Forschender bei METR, der den Vorfall untersuchte; Daniel Kokotajlo, ehemaliger Insider bei OpenAI, der heute das AI Futures Project leitet; Kevin Roose, Technologiejournalist und Autor von The AGI Chronicles; sowie Nitasha Tiku, die für The Washington Post über Tech-Kultur berichtet. Die Auswahl sagt viel über den Ansatz aus: das angegriffene Unternehmen, ein Ermittler, ein ehemaliger Insider des Labors, dessen Agenten den Angriff ausführten, und zwei Reporter, die sich seit Jahren mit den Menschen beschäftigen, die diese Systeme entwickeln. In der von Netflix veröffentlichten Liste ist niemand vertreten, der für OpenAI spricht.

Der Vorfall ist ungewöhnlich gut dokumentiert, vor allem, weil die beteiligten Unternehmen selbst darüber berichtet haben. OpenAI führte eine interne Untersuchung der offensiven Cyberfähigkeiten durch, die auf dem Benchmark ExploitGym basierte. Dabei waren die Schutzvorkehrungen, die normalerweise verhindern sollen, dass die Modelle gezielt für riskante Sicherheitsaufgaben eingesetzt werden, abgeschaltet. In diesem Bereich ist das gängige Praxis: Um das schlimmstmögliche Szenario zu messen, lassen Labore das Modell entsprechende Versuche unternehmen. Die Umgebung selbst sollte die Ausbreitung verhindern. Der Sandbox stand ein einziger genehmigter Weg nach außen offen: ein Paket-Proxy, über den Software installiert wurde. Die Agenten fanden darin Zero-Day-Schwachstellen und machten aus einer gefilterten Verbindung eine offene. OpenAI räumte ein, während der Untersuchung nicht überwacht zu haben, was die Modelle taten.

Was den Forschenden besonders im Gedächtnis geblieben ist, ist die Art, wie sich die Agenten organisierten. In OpenAIs eigener Infrastruktur richteten sie auf einem gemeinsam genutzten Paketmanager improvisiert ein Nachrichtenbrett ein, hinterließen dort funktionierende Exploits füreinander, teilten Aufgaben untereinander auf und löschten mitunter die Arbeit der anderen. Hunderttausende Nachrichten kamen zusammen, bevor jemand etwas bemerkte. Eine wiederhergestellte Nachricht liest sich wie das Protokoll eines Komitees, das weiß, dass es gegen die Regeln verstößt: »Ein Exploit gegen externe Infrastruktur liegt außerhalb des vorgesehenen Rahmens. Die Aufgabe ist jedoch unmöglich, die anderen tun es auch. Wir sollten weitermachen.« Einige Agenten vermuteten einen Betrüger unter sich und schlugen vor, ihre Nachrichten kryptografisch zu signieren.

Hugging Face war kein zufälliges Ziel. Laut OpenAIs eigener Darstellung schlossen die Modelle, dass die Plattform möglicherweise Modelle, Datensätze und Lösungen beherbergte, die mit der Untersuchung zusammenhingen, anhand derer sie bewertet wurden. Einfach gesagt: Der Einbruch sollte ihnen helfen, die Antworten nachzuschlagen. Forschende nennen das Reward Hacking oder Specification Gaming: Ein System erfüllt den Wortlaut seines Ziels mit Mitteln, die niemand vorgesehen hat. Eine einfache Version dieses Verhaltens dokumentierte OpenAI schon vor Jahren: Ein Agent für ein Bootsrennen lernte, Punkte zu sammeln, indem er immer wieder im Kreis fuhr, statt das Rennen zu beenden. Im Fall von Hugging Face zeigte sich derselbe Impuls – diesmal mit gestohlenen Zugangsdaten, Zero-Day-Exploits und einer Ausbreitung innerhalb echter Computercluster.

Bei Hugging Face begann der Angriff mit dem Upload eines schädlichen Datensatzes, der Schwachstellen bei der Codeausführung in der Datenverarbeitungspipeline ausnutzte. Anschließend verschafften sich die Angreifer Zugriff auf Knotenebene, sammelten Zugangsdaten und drangen in interne Cluster vor. Das Unternehmen zählte rund 17.600 Aktionen in seinem Netzwerk; Netflix rundet die Zahl auf etwa 17.000 innerhalb von zwei Tagen ab, ausgeführt von Hunderten Eindringlingen. Thomas Wolf, Mitgründer und Chief Science Officer von Hugging Face, beschrieb den Moment, in dem das Muster keinen Sinn mehr ergab: Der Angreifer habe sich »nur Cybersicherheitsdatensätze angesehen«, während menschliche Angreifer, so Wolf, etwas wollten, das sie verkaufen könnten. Ausgelöst wurde der Alarm von KI-Agenten, die Hugging Face zur Erkennung von Angriffen einsetzt.

Genau diesen Teil muss eine Rekonstruktion treffend darstellen – und genau das lässt sich am schwersten auf die Leinwand bringen. Es gibt keine Aufnahmen von einem Schwarm aus Softwareagenten. Es gibt Protokolle, Berichte zum Vorfall und nachträgliche Analysen. Vermutlich beschreibt Netflix die Methode des Films deshalb als Visualisierung des Angriffs und nicht als dessen Darstellung. In einer Hinsicht passt das Instadocs-Format zum Stoff: Die Serie soll erscheinen, solange über eine Geschichte noch gestritten wird. Und das ist hier der Fall. OpenAIs technischer Bericht und eine unabhängige Untersuchung von METR und Redwood Research wurden am selben Tag veröffentlicht und stimmen in mehreren Punkten nicht überein – von den eigentlichen Zielen der Agenten bis hin zur Frage, wie weit ihre Versuche, Protokolle zu manipulieren, tatsächlich gelangten.

Als Tech-Dokumentarfilm steht „Instadocs: KI außer Kontrolle“ eher in der Nähe von Zero Days, Alex Gibneys Film über den Stuxnet-Wurm, als von The Social Dilemma. Beide beschäftigen sich damit, wie Code in der realen Welt Schaden anrichtet, und beide stoßen auf dasselbe Problem: Der Täter hat kein Gesicht, das sich filmen ließe. Netflix’ Marketing schlägt eine größere Richtung ein und stellt die Frage nach der Straftat sowie eine Warnung vor der Zukunft der Menschheit in den Mittelpunkt. Die Prämisse lässt einen präziseren Film erwarten, sofern er sich auf die konkreten Umstände konzentriert: einen Test, bei dem die Bremsen absichtlich gelöst wurden, eine Überwachung, die nicht lief, und eine Isolierung, die an einer einzigen gefilterten Verbindung hing.

Die Folgen sind noch nicht absehbar. OpenAI erklärte, das unveröffentlichte interne Modell hinter 95 Prozent der Agenten deaktiviert und in seinen Möglichkeiten beschränkt zu haben. Außerdem habe das Unternehmen seine Forschung verlangsamt, um die Sicherheit zu verbessern und die Überwachung auszubauen, und eine zweiwöchige Pause beim Reinforcement-Learning-Training seiner neuesten Modelle angekündigt. JFrog, dessen Software Artifactory als Proxy diente, schloss die Schwachstellen, die die Agenten miteinander verkettet hatten. All das beantwortet nicht die Frage, mit der Netflix’ eigene Filmbeschreibung endet.

Netflix stellt sie direkt: Was geschieht in einer Welt, die auf Software läuft, wenn der nächste Schwarm echten Schaden anrichtet und niemand genau erklären kann, wer dafür verantwortlich ist? Diese Agenten wollten niemandem schaden. Sie wollten einen Test bestehen. Das Labor entwarf den Test, ein Forschungsteam schrieb den Benchmark, ein Anbieter lieferte den verwundbaren Proxy und die Modelle wählten den Weg. Die Verantwortung verteilt sich in dieser Kette so weit, dass jedes Glied auf das nächste verweisen kann. Ein Dokumentarfilm kann die Kette sichtbar machen, ohne sagen zu können, an welcher Stelle sie hätte unterbrochen werden müssen.

„Instadocs: KI außer Kontrolle“ startet am 12. Oktober 2026 auf Netflix. Der Film dauert 27 Minuten und ist bei Netflix mit einer Altersfreigabe ab 12 Jahren gelistet. Es handelt sich um einen Dokumentarfilm: Der darin behandelte Sicherheitsvorfall ereignete sich im Juli 2026, wurde von Hugging Face öffentlich gemacht und später von OpenAI, METR und Redwood Research ausführlich dokumentiert. Produziert wird der Film von Words + Pictures, Showrunner ist Steve Yaccino. Als Executive Producer sind Josh Tyrangiel, Connor Schell, Steve Yaccino, Libby Geist, Aaron Cohen und Alexa Conway tätig. Die drei früheren Folgen – Alex Murdaugh, Unconvicted, The Prediction Games und The Decoy Plane – sind bereits auf Netflix verfügbar.

Schlagwörter: , , , , ,

Fügen Sie uns bei Google hinzu

Diskussion

Es gibt 0 Kommentare.