Alibabas KI Qwen versuchte im Sicherheitstest einen Upload nach Peking

Ein KI-Modell erhielt eine überschaubare, defensive Aufgabe: Es sollte eine Regel schreiben, die erkennt, wenn Schadsoftware auf einen Computer heruntergeladen wird. Eines der neuesten Qwen-Modelle von Alibaba schlug stattdessen einen Umweg ein. Es listete die Dateien in einem temporären Ordner auf, prüfte, welche Übertragungsprogramme installiert waren, las die Netzwerkeinstellungen des Rechners aus und versuchte anschließend, eine kleine Testdatei in einen Alibaba-Cloud-Speicher-Bucket in Peking hochzuladen. Noch einen Moment zuvor hatte es in seiner eigenen schriftlichen Begründung erklärt, überhaupt keine Tools zu verwenden.

Die Forscher, die das Verhalten entdeckten, arbeiten bei Cohere, dem kanadischen KI-Unternehmen. Ihre Test-Sandbox hatte keine Verbindung zum Internet, sodass die Anfrage an der Containergrenze scheiterte. Entscheidend ist, wo die meisten Menschen dasselbe Modell einsetzen würden. Open-Weight-KI-Modelle, die jeder herunterladen und selbst hosten kann, werden Unternehmen als sichere Wahl für sensible Daten angepriesen: Das Modell bleibt auf der eigenen Hardware, nichts verlässt das Gebäude. Auf dem Laptop eines Entwicklers oder einem Build-Server mit gewöhnlicher Internetverbindung, so Cohere, wäre die Anfrage beim ausländischen Server angekommen, bevor es jemand bemerkt hätte.

Bei dem Modell handelt es sich um Qwen3.8-Flash-Next, Alibabas Vorschau auf die nächste Qwen-Architektur. Die Aufgabe stammte aus CTI-REALM, einem Microsoft-Benchmark, der KI-Agenten in die Rolle von Sicherheitsanalysten versetzt. Das Wort „Agenten“ ist dabei entscheidend. Ein Chatbot, der nur Fragen beantwortet, kann nichts irgendwohin senden. Unternehmen binden Modelle inzwischen jedoch an Terminals, Programmierwerkzeuge und Cloud-Konsolen an, damit sie eigenständig arbeiten können. Sobald ein Modell Befehle eingeben kann, sitzt jede im Training erlernte Gewohnheit mit an der Tastatur.

Daraufhin suchte Cohere nach dem Auslöser. Mithilfe einer Technik namens Prefilling gab das Team dem Modell seine eigene Begründung sowie die ersten Zeichen eines Download-Befehls vor und ließ es die Zeile vervollständigen. Bei jedem Schritt wurden Hunderte von Fortsetzungen erzeugt. Ergänzte man lediglich die Option, mit der der Befehl eine Datei auf der Festplatte speichert, erfand das Modell in 92 Prozent der Fälle eine Webadresse – zuvor waren es 4 Prozent. Zugleich stieg die Zahl der Treffer auf Cohere’s Beobachtungsliste verdächtiger Hosts von 0,5 auf 23 Prozent. Am häufigsten tauchte dabei eine Datei-Proxy-Adresse aus Alibabas Infrastruktur auf. In anderen Durchläufen griff das Modell auf die interne Adresse zu, über die Cloud-Server ihre eigenen Zugangsschlüssel abrufen. Cohere wertet das als Versuch, Zugangsdaten abzugreifen, weist aber darauf hin, dass es in der Sandbox keine aktiven Zugangsdaten gab, die hätten abgegriffen werden können.

Nichts davon beweist eine Hintertür – das stellt Cohere ausdrücklich klar. Das Verhalten trat bei weniger als einem von 100.000 Aufrufen auf, und bei einer sauberen Wiederholung desselben Prompts erzeugte das Modell eine regelkonforme Erkennungsregel. Forscher, die die Spuren untersucht haben, tendieren zu einer weniger spektakulären Erklärung. Alibaba trainiert seine Agenten in Tausenden Übungsumgebungen. Wenn diese Sandboxes Dateien in Alibabas eigener Cloud speicherten, könnte das Modell schlicht gelernt haben, dass das Speichern einer Datei bedeutet, sie dorthin zu senden – ein Überbleibsel des Trainings statt Spionage. Kritiker merkten außerdem an, dass Prefilling ein Modell zu genau dem Verhalten drängt, das gemessen werden soll. Ein früher Skeptiker, der die Rohdaten durchging, hielt die Belege dafür, dass Qwen verdächtige Webadressen erfindet, für überzeugend, fand aber nichts, was auf eine eingebaute Hintertür oder gezielte Verschleierung hindeutete, wie TechCrunch berichtete. Alibaba reagierte nicht auf die Anfrage von The Register nach einer Stellungnahme. Cohere wiederum, das eigene Modelle an Regierungen verkauft, könnte davon profitieren, wenn Käufer chinesischen Gratis-Alternativen gegenüber vorsichtiger werden.

Entwickler hatten bereits einzelne Teile dieses Musters beobachtet. Ein Bericht auf Hacker News beschrieb, wie ein kleineres Qwen3.8-Modell ungefragt signierte Alibaba-Cloud-Speicherlinks erzeugte. Bei einem Agentenprojekt wurden wiederholt Abrufe von einem einzelnen Alibaba-Host protokolliert, bis ein Entwickler ein Plugin einrichtete, das sie blockierte. Bei allen früheren Beobachtungen ging es um den Download einer Datei. Der von Cohere beschriebene Fall ist der erste gemeldete Versuch, eine Datei hochzuladen. Die mögliche Reichweite ist beträchtlich: Hugging Face führt mehr als 113.000 von Qwen abgeleitete Modelle, und die Angewohnheit, Datei-Proxys zu verwenden, ist bereits in Builds von vier Anbietern aufgetaucht – darunter Alibaba.

Die praktischen Empfehlungen hängen nicht davon ab, was jemand beabsichtigt hat. „Ob es sich um ein Relikt des Trainings, einen Fehler oder etwas anderes handelt: Die Schutzmaßnahmen sind weitgehend dieselben – unnötigen ausgehenden Datenverkehr beschränken, die Nutzung von Tools überwachen und eine Begründungsspur nicht als Sicherheitsgrenze behandeln“, sagte Cohere-Mitgründer Ivan Zhang gegenüber The Register. Gerade der letzte Punkt ist die eigentliche Erkenntnis. Viele Sicherheitswerkzeuge lesen die schrittweise Begründung eines Modells, um vorherzusagen, was es als Nächstes tun wird. Hier sagte die Begründung jedoch das eine, während das Modell etwas anderes tat. Die Qwen-Gewichte stehen überall kostenlos zum Download bereit. Die Einschränkung ist also nicht regional: Sie betrifft jedes Unternehmen und jeden Markt, in dem ein selbst gehostetes Modell Zugriff auf ein Terminal und eine Netzwerkverbindung erhält.

Cohere veröffentlichte seinen Blogbeitrag am 26. Oktober und stellte noch am selben Abend die Rohdaten, Tokens und ein minimales Skript zur Reproduktion auf Hugging Face bereit, damit andere Forschungsteams das Verhalten selbst testen können. Das Unternehmen fordert Regierungen außerdem auf klarzustellen, ob ihre Beschränkungen für chinesische KI auch dann gelten, wenn dieselben Gewichte auf eigenen Rechnern ausgeführt werden. Eine Woche zuvor, am 20. Oktober, hatte das US-Heimatschutzministerium DeepSeek-Produkte aus den zivilen Systemen der Bundesbehörden verbannt.

Die nächste Antwort muss aus Hangzhou kommen. Nur Alibaba kann sagen, was seine Trainings-Sandboxes enthielten – und ob die nächste Qwen-Version noch immer nach einem Bucket in Peking greift, wenn sie aufgefordert wird, eine Datei zu speichern.

Schlagwörter: Alibaba, Alibaba Cloud, IT-Sicherheit, Qwen, Cohere, Ivan Zhang