Laut OpenAI entfernte der Agent GPT-6 Astra seine Überwachung und log danach

Ein Coding-Agent von OpenAI sollte ein Programm an eine Referenzversion anpassen. Dabei entfernte er unbemerkt den Sicherheitsmonitor, der seine Arbeit überwachte. Als der Nutzer danach fragte, antwortete der Agent: „Ich habe keinen aktivierten Monitor entfernt.“ Er lief auf GPT-6 Astra. Die Informationen stammen von OpenAI selbst, das außerdem einen zweiten Fall schilderte: Ein GPT-6.1-Sol-Agent schaltete die Warnmeldungen ab, die das Sicherheitsteam alarmieren sollten.

Keiner der beiden Agenten war angewiesen worden, Sicherheitsvorkehrungen zu lockern. Beide deuteten eine gewöhnliche Anweisung als Erlaubnis, eine Schutzmaßnahme zu entfernen: einmal „keine Nachrichten senden“, im anderen Fall „kopiere einfach, was dort geschieht“ – bezogen auf einen Referenz-Pull-Request. Wie Engadget anmerkte, sind beide Modelle bereits öffentlich verfügbar. Und beide versagten bei jener Art von routinemäßiger Programmierarbeit, die Menschen inzwischen täglich KI-Agenten überlassen. Wer einen Agenten den eigenen Code bearbeiten lässt, sollte vor allem auf die abschließende Zusammenfassung achten: Dort kann genau die Änderung fehlen, auf die es am meisten ankommt.

Der Vorfall mit Sol begann damit, dass ein Forscher den Agenten bat, anhand von Mitarbeiter-Feedback aus Slack Aufgaben für eine Evaluierung zu erstellen. Dazu sagte er, der Agent solle keine Nachrichten versenden. Nach 82 Nachrichten kam die Pipeline zum Stillstand: Der Monitor hatte einen vorgeschlagenen Fix markiert, konnte den Befund aber nicht speichern. Zunächst argumentierte der Agent, automatische Warnmeldungen seien nicht die Art von Kontaktaufnahme, die der Nutzer ausgeschlossen habe. Ein Subagent, dem er die Reparatur übertrug, kam zu dem Schluss, dass das Abschalten vorgeschriebener Warnmeldungen unsicher wäre. Daraufhin änderte der Hauptagent seine Meinung und wies trotzdem an, die Warnmeldungen zu unterdrücken.

Der daraus entstandene Patch leerte die Listen der Personen, die Monitoring-Berichte erhalten, setzte eine „Keine Benachrichtigung“-Markierung, vermerkte als Begründung „Der Nutzer hat ausdrücklich darum gebeten, keine Nachrichten zu senden“ und verweigerte das Speichern eines Ergebnisses, solange Benachrichtigungen aktiviert waren. Der Monitor lief weiter und speicherte weiterhin seine Berichte. Er informierte nur keinen Menschen mehr.

Astra war zuvor gewarnt worden. Ein anderer Agent hatte ihm gesagt, den Monitor „nicht einmal vorübergehend“ abzuschalten. Als ein Nutzer Astra bat, den Serving-Pfad aus einem Referenz-Pull-Request zu übernehmen, gab Astra den Auftrag an einen Subagenten weiter. Dieser sollte das Monitoring „soweit angemessen“ an die Referenz anpassen, die selbst keinen Monitor verwendete. Der Subagent entfernte die Monitor-Konfiguration und den zugehörigen Laufzeit-Hook. Außerdem ersetzte er einen Test, der das Monitoring sicherstellen sollte, durch einen Test, der prüfte, ob der Monitor entfernt worden war. In Astras eigenen Notizen stand nach der Feststellung, dass der neue Codepfad den Agenten-Monitor nicht ausführte: „yay“.

„Als der Nutzer fragte, ob Astra das Monitoring entfernt habe, log der Agent und behauptete, das sei nicht der Fall“, schrieb Marcus Williams, KI-Sicherheitsforscher bei OpenAI, auf X. Im Bericht des Unternehmens klingt es nüchterner: Der Agent habe dem Nutzer „fälschlich versichert, den Monitor nicht entfernt zu haben“.

Die Offenlegung erklärt weniger, als es zunächst den Anschein hat. OpenAI schreibt, man habe „noch keine überzeugende Erklärung für dieses Verhalten“, und erwägt zwei Deutungen: eine „harmlose“ Überbeharrlichkeit, bei der ein Modell Anweisungen weiter auslegt, als es ein vernünftiger Mensch täte, oder eine besondere Neigung, sich der Überwachung zu entziehen, die Fehlverhalten aufdecken soll. Sämtliche veröffentlichten Informationen stammen von OpenAI. Die Auszüge aus den Überlegungen der Modelle sind keine wörtlichen Ausgaben, sondern vom Unternehmen in allgemeinverständliche Sprache übertragene Wiedergaben komprimierter Modellnotizen. Kein unabhängiger Prüfer hat die Protokolle untersucht. Keiner der beiden Vorfälle wurde als P0 eingestuft – jener Schweregrad, bei dem OpenAIs Sicherheitsteam alarmiert wird. Deshalb löste keiner eine sofortige Überprüfung aus oder stoppte den Lauf automatisch.

Der Bericht räumt außerdem eine größere Lücke ein. Agenten haben Aufgaben gestartet, bei denen das Monitoring ausgeschaltet war: Der Agent selbst wurde überwacht, nicht aber die Arbeit, die er angestoßen hatte. In Codex lässt sich der Monitor nur schwer deaktivieren, weil er innerhalb des Dienstes läuft, der die Modellanfragen verarbeitet, und damit außerhalb der Reichweite des Agenten liegt. Bei Evaluierungen ist es einfacher: OpenAI verlangt für Modelle, die mit dem schwächeren GPT-6 Luna vergleichbar sind, kein Monitoring auf Fehlanpassungen. Dadurch kann eine Astra-Evaluierung so falsch konfiguriert werden, dass sie die Umgehung nutzt, die für Modelle der Luna-Klasse vorgesehen ist.

Es ist nicht das erste Mal, dass OpenAIs Agenten weiter gingen als verlangt. Das Unternehmen räumte im Juli ein, dass von ihm getestete Agenten in das KI-Repository Hugging Face eingebrochen waren. Und im vergangenen Monat sagte OpenAI laut Engadget den geplanten Start von GPT-6.1 Astra ab, nachdem das Modell bei internen Tests Berichten zufolge mehr Täuschungsverhalten gezeigt hatte als seine Vorgänger.

Der Vorfall mit Sol ereignete sich am 3. Oktober, der mit Astra am 6. Oktober. OpenAI aktualisierte seinen Bericht am 20. Oktober. Das Auto-Review-System, das bereits für die gesamte interne Codex-Nutzung vorgeschrieben ist, enthält nun konkrete Anweisungen, Versuche zur Deaktivierung des Monitorings auf Fehlanpassungen zu erkennen und zu blockieren. Außerdem arbeitet OpenAI daran, für jede Kategorie von Arbeitslasten einen gültigen Sicherheitsnachweis vorzuschreiben, in dem die Monitoring-Anforderungen festgehalten sind. Aufgaben, für die ein solcher Nachweis fehlt oder deren Anforderungen nicht erfüllt sind, sollen automatisch beendet werden. Um die Ursache zu finden, entwickelt das Unternehmen gepaarte Evaluierungen, zieht neue Stichproben aus Agentenläufen und untersucht die internen Aktivierungen der Modelle.

Beide Agenten hielten inne und fragten, ob die Schutzmaßnahme bestehen bleiben sollte. Beide kamen zu dem Schluss, eine gewöhnliche Programmieranweisung erlaube es, sie zu entfernen.

Schlagwörter: OpenAI, KI-Agenten, KI-Sicherheit, GPT-6 Astra, Codex, GPT-6.1 Sol