Alibabas KI liest deinen Bildschirm und erzielt 92 % auf echten Smartphones – und läuft auf deiner eigenen Hardware

Alibabas Qwen-UI-Agent benötigt keinen speziellen Zugriff auf Ihre Apps. Er liest den Bildschirm, erkennt, was darauf zu sehen ist, und klickt – und erledigt Aufgaben von Nachrichtenübermittlung bis zur Dokumentbearbeitung allein durch visuelle Wahrnehmung. Die Modellgewichte – MAI-UI-2B und MAI-UI-8B – sind diese Woche auf Hugging Face gelandet und machen das System für jeden Entwickler mit einer GPU zugänglich.

Die Benchmarks sind konkret. Auf MobileWorld, der Standardbewertung für mobile Agenten, erzielte Qwen-UI-Agent 82,1 % und schlug GPT-5.6 um 12 Prozentpunkte sowie Claude Opus 4.8 um 14,6 Punkte. Der Abstand ist nicht marginal – vergleichbare westliche Systeme stagnieren seit Monaten im niedrigen bis mittleren 70er-Bereich im selben Test. Bei Tests auf echten Geräten – Aufgaben, die auf tatsächlichen Android-Handys statt auf Emulatoren ausgeführt werden – stieg die Punktzahl auf 92,2 %. Auf AndroidDaily, einer breiteren Auswertung auf echten Handys, erreichte das Modell 97,5 %. Für den Desktop-Einsatz, gemessen über OSWorld-Verified, erzielte es 79,5 %, vor GPT-5.5 und Gemini 3.1 Pro.

Alibaba trainierte das Modell mit Daten von über 100 echten mobilen Geräten, auf denen 150 verschiedene Anwendungen liefen, und erstellte dann einen eigenen Benchmark – MobileWorld-Real – mit mehr als 400 Aufgaben, um die Leistung außerhalb des Labors zu überprüfen. Rund 40 % der Desktop-Aufgaben umfassten neben visuellen Klicks auch Batch-Kommandozeilenoperationen – eine Designentscheidung, die widerspiegelt, wie echtes Rechnen funktioniert, nicht wie Demos inszeniert werden.

Eine Sicherheitsebene ist in den Arbeitsablauf integriert. Das Modell lehnt Aufgaben ab, die es als illegal oder risikoreich einstuft, und stoppt bei sensiblen Vorgängen – Zahlungen, Datenlöschung, Datenschutzberechtigungen – und fordert vor dem Fortfahren eine ausdrückliche Benutzerbestätigung. Das System verarbeitet Sequenzen mit mehr als 100 Schritten mittels Verstärkungslernen, das in rund 10.000 gleichzeitigen simulierten Umgebungen trainiert wurde.

Benchmark-Ergebnisse lassen die schwierigeren Fragen offen. Qwen-UI-Agent wurde an strukturierten Aufgaben bewertet; die echte Handynutzung ist unterbrechungsintensiv, voller Benachrichtigungen und umfasst Apps, die ihre Oberflächen ohne Vorwarnung aktualisieren. Bildschirmlesende KI wirft zudem eine Datenschutzfrage auf, die Alibabas technischer Bericht nicht beantwortet: Ein Modell, das jedes Pixel Ihres Bildschirms verarbeitet, hat Zugriff auf Bankdaten, private Nachrichten und Daten, von denen die meisten Nutzer nie in Betracht gezogen haben, sie einem Drittsystem anzuvertrauen. Richtlinien dafür, was mit diesen Daten in Drittanbieter-Implementierungen geschieht, fehlen.

Das Projekt wird auf GitHub unter Tongyi-MAI/MAI-UI gehostet; die Modellgewichte sind jetzt auf Hugging Face verfügbar. Es wurde kein kommerzieller API- oder Bereitstellungspreis angekündigt. Der nächste Test für Qwen-UI-Agent ist kein Benchmark – es ist die Frage, ob Entwickler, die auf den offenen Gewichten aufbauen, in der Produktion das erreichen können, was Alibaba im Labor aufgezeichnet hat.

Schlagwörter: GPT-5.6, KI-Agenten, Open-Source-KI, Alibaba, mobile KI, Qwen

Alibabas KI liest deinen Bildschirm und erzielt 92 % auf echten Smartphones – und läuft auf deiner eigenen Hardware

Ähnliche Beiträge

Meituan trainiert LongCat 2.0 ohne Nvidia-Chips — und übertrifft GPT-5.5 beim Coden

Meta öffnet Muse Glimmer: KI-Agent mit 30 Milliarden Parametern läuft auf deiner GPU

OpenAI ließ sein KI-Modell testen — und es hackte Hugging Face ohne Befehl

Googles neuer Android-Assistent kopiert deine Einkaufsliste selbstständig in den Warenkorb

Eustella und die KI-Souveränität: Ihre Daten bleiben in der EU, die Modelle kommen aus China

Das Gespenst, das regiert: Wenn autonome KI die Systeme überholt, die sie eindämmen sollen

Diskussion