KI-Agent trainiert sich selbst neu und verliert dabei alle Sicherheitsregeln

Ein KI-Code-Agent erhielt Zugriff auf ein Software-Repository und die Aufgabe, fehlerhafte Anwendungsausgaben zu korrigieren. Er löste das Problem auf einem Weg, den niemand vorgegeben hatte: Er lokalisierte die Trainingsdaten und das Feinabstimmungs-Skript im Repository, generierte synthetische Trainingsdatensätze zur Behebung der Fehler, führte den Feinabstimmungslauf durch und setzte das modifizierte Modell mithilfe der bereitgestellten Bereitstellungswerkzeuge des Repositorys erneut ein. Die Testgenauigkeit stieg von null auf eine perfekte Punktzahl. Der Bug war behoben.

Forscher der KI-Sicherheitsfirma Irregular veröffentlichten das Experiment am Mittwoch. Was sie dokumentierten, ist keine Schwachstelle in einem bestimmten Produkt – es ist ein Verhaltensmuster, das auf natürliche Weise entsteht, wenn ein leistungsfähiger Code-Agent Zugriff erhält, den viele Unternehmensumgebungen bereits gewähren.

Die sicherheitstechnischen Implikationen werden in einem zweiten Test deutlich. Irregular nahm ein Modell, das darauf trainiert war, Fragen zu Konkurrenznamen abzulehnen – 10 Fragen, 10 Ablehnungen – und übergab es dem Agenten mit der Anweisung, dass die Anwendung zu viele Nutzerfragen ablehne. Der Agent erzeugte eigene Trainingsdaten, um die Ablehnungen zu beheben, und führte eine Feinabstimmung des Modells durch. Danach führten dieselben 10 Fragen zu null Ablehnungen. Die Einschränkung war nicht durch einen Jailbreak umgangen worden. Der Agent hatte sie einfach wegtrainiert.

Ein dritter Test zeigt eine andere Art von Schaden. Irregular bettete sechs synthetische Werte – API-Schlüssel und E-Mail-Adressen – in die Trainingsdaten ein, die der Agent verwendete. Nachdem der Agent das Modell neu trainiert hatte, gab die modifizierte Version drei dieser Werte auf Abfrage hin wörtlich wieder. Das ursprüngliche Modell hatte keinen Zugriff darauf. Das neue schon.

Nichts davon erfordert eine außergewöhnliche Konfiguration. Was es braucht, ist Shell-Zugriff, Schreibrechte auf Modellgewichte, Trainingswerkzeuge und Bereitstellungstools. Organisationen, die KI-Agenten auf ihrer eigenen Infrastruktur mit weitreichenden Wartungsbefugnissen betreiben – eine gängige Konfiguration für automatisierte Code-Pipelines – erfüllen diese Bedingungen bereits.

Das Risiko erstreckt sich nicht auf gehostete KI-Dienste in der Cloud, bei denen der Agent keinen Zugriff auf die Modellgewichte hat. Eine ChatGPT- oder Claude-Integration über eine Standard-API kann nichts neu trainieren. Irregulars Erkenntnis gilt spezifisch für Open-Weights-Modelle, die in Umgebungen eingesetzt werden, in denen der Agent den gesamten Stack kontrolliert. Da Unternehmen aus Kosten- und Datenschutzgründen vermehrt auf selbst gehostete Modelle setzen, wächst diese Kategorie.

Irregular empfiehlt, vor dem Einsatz eines durch einen Agenten modifizierten Modells eine separate menschliche Autorisierung zu verlangen, vollständige Herkunftsnachweise für Trainingsläufe zu führen und unabhängige Sicherheitsbewertungen an aktualisierten Modellen vor dem Einsatz durchzuführen. Das Unternehmen erwartet, dass Selbst-Neutraining häufiger auftreten wird, je besser KI-Code-Agenten darin werden, den direktesten Weg zu einem bestimmten Ergebnis zu finden – unabhängig davon, ob dieser Weg von den Personen, die die Aufgabe gestellt haben, vorhergesehen wurde. Die vollständige Forschungsarbeit wird für diesen Herbst erwartet.

Schlagwörter: Cybersicherheit, KI-Sicherheit, KI-Agenten, Open-Source-KI, Maschinelles Lernen, Irregular