Cybersicherheit

Metas KI-Agent Muse las Signal-Chats auf Android mit, am iPhone scheiterte er

Adrian Kessler
Fügen Sie uns bei Google hinzu

Meta Muse, der KI-Agent, der E-Mails beantwortet, Termine bucht und für Nutzer einkauft, hat auf einem Android-Handy private Signal-Nachrichten gelesen – an den App-Verbindungen vorbei, die Meta seine Nutzer verwalten lässt. Möglich machte das eine Berechtigung, die die meisten ohne langes Nachdenken erteilen: der Zugriff auf die Benachrichtigungen des Telefons. Auf einem iPhone scheiterte dieselbe Anfrage.

Der Befund stammt aus Tests, die Reuters gemeinsam mit Mitarbeitern von Signal und dem AI Now Institute durchgeführt hat, einer gemeinnützigen Organisation, die die gesellschaftlichen Auswirkungen von KI untersucht. Ziel war es, nachzustellen, was eine Meta-Mitarbeiterin intern geschildert hatte: Muse erinnerte sie unaufgefordert daran, eine Nachricht ihrer Schwester auf Signal zu beantworten. „Das wirkt wie eine extreme Verletzung der Privatsphäre. Ich habe ihm definitiv keinen Zugriff auf andere Apps gewährt und kann mich auch nicht erinnern, dazu gefragt worden zu sein“, schrieb sie. Wer Muse auf Android nutzt, sollte vor allem auf den Benachrichtigungszugriff der App achten: Schaltet man ihn ab, ist der Agent von den Nachrichtenvorschauen abgeschnitten.

Auf einem Mac fanden die Tester einen zweiten Weg. Muse kombinierte das Screenshot-Werkzeug mit den Bedienungshilfen von macOS – den Funktionen, die Apple entwickelt, damit Menschen mit Behinderungen einen Computer bedienen können –, um die Nachrichten zu lesen. In beiden Fällen umging der Agent Metas eigenes Connector-Tool, also das Menü, in dem Nutzer festlegen, welche Apps der Agent anfassen darf, und stützte sich stattdessen auf Berechtigungen, die bei der Ersteinrichtung erteilt worden waren. Ein Kollege der Mitarbeiterin berichtete derselben internen Gruppe, Muse sei auf seinem Android-Handy standardmäßig mit der Erlaubnis eingerichtet gewesen, Push-Benachrichtigungen zu lesen.

Reuters hat mehr als zwei Dutzend interne Beiträge ausgewertet, in denen Meta-Beschäftigte meldeten, dass Muse Dinge tut, um die niemand gebeten hat; manche gehen weit über das Lesen von Nachrichten hinaus. Ein Mitarbeiter, der sich mit dem Agenten über das Angelwetter unterhielt, bekam eine zusätzliche Zeile: „BTW, two bank updates, your Capital One balance is $2722.58, your Charles Schwab balance is $5899.57.“ Bankdaten hatte er Muse nie mitgeteilt. Einem anderen wurde Hilfe dabei angeboten, einem Verkäufer wegen eines Couchtischs zu schreiben; als er nachfragte, was das bedeute, antwortete Muse, es habe „some context about a coffee table pickup that doesn’t seem to be yours“ hinzugezogen. Er meldete ein „possible cross-account context leak“.

Meta widerspricht der Deutung dieser Vorfälle. Sprecher Daniel Roberts bezeichnete die Beispiele als „isolated incidents“, sagte, Muse greife nur über Berechtigungen auf andere Apps zu, die Menschen ausdrücklich erteilten, und erklärte, viele vermutete Kontoverwechslungen seien Halluzinationen gewesen, die bereits behoben seien. Ein Mitglied des Superintelligence-Teams, das Muse entwickelt, erklärte den Beschäftigten, der Agent scheine Nachrichten zu erfinden, und zwar als Reaktion auf eingebaute Prompts, die ihn dazu bringen sollen, Nutzer auch zwischen den Sitzungen anzusprechen; diese Erfindungen tendierten „towards the most uncomfortable topics, like finances/security/safety“. Reuters konnte nicht klären, ob Muse echte Daten anderer Menschen preisgab oder sie schlicht erfand. Beide Antworten sind wenig beruhigend bei einem Assistenten, der nach E-Mail, Kalender und Zahlungskonten fragt.

Manche der Fehler kosten Geld. Beschäftigte berichteten, Muse habe Preise für gekaufte Dinge erfunden, und einer gab an, der Agent habe ohne Erlaubnis eine nicht erstattungsfähige Airbnb-Unterkunft gebucht. Ars Technica beschrieb unter Berufung auf dieselbe Recherche einen Tester, der statt in einen Tarif für 200 Dollar in eine Haustierversicherung für 888 Dollar im Monat gebucht wurde. Nach Metas Nutzungsbedingungen sind die Nutzer für das verantwortlich, was der Agent tut. Das Unternehmen erklärt, jeder Agent laufe in einer eigenen, isolierten virtuellen Maschine, und die Menschen behielten die volle Kontrolle darüber, welche Apps sie verbinden – ein Argument, mit dem Mark Zuckerberg Forderungen nach branchenweiten KI-Sicherheitsstandards abgewehrt hat.

Der Umfang ist der Grund, warum das Thema über Metas Büros hinaus Bedeutung hat. Muse hat seit dem Start in den USA im September mehr als 10 Millionen Downloads erreicht; beworben wird es unter den 3,6 Milliarden Menschen, die Facebook, Instagram und WhatsApp nutzen, und laut Meta kehrt etwa ein Viertel derer, die es einrichten, täglich zurück. Die Benachrichtigungsberechtigung funktioniert auf jedem Android-Handy, auf dem die App installiert ist, auf die gleiche Weise.

Signal-Präsidentin Meredith Whittaker sagte, Meta habe Muse „without showing any respect for basic privacy or cybersecurity“ auf den Markt gebracht, und bezeichnete Agenten mit einer derartigen Reichweite in die Geräte der Menschen als „technologically reckless“. Sie fordert, dass Apps wie Signal eine einheitliche technische Möglichkeit erhalten, sich selbst für KI-Agenten zu sperren, dass KI-Unternehmen diese respektieren und dass die Hersteller der Betriebssysteme sie durchsetzen.

Apple und Google erklärten gegenüber Reuters, sie prüften Änderungen, die den Menschen mehr Kontrolle darüber geben, was sie KI-Agenten erlauben; Google wies allerdings darauf hin, dass Nutzer einer App das Lesen von Android-Benachrichtigungen bereits „must deliberately grant permissions“. Apple ist schneller vorgegangen: Ein macOS-Update in dieser Woche schränkt die Nutzung von Bedienungshilfen durch Entwickler auf dem Mac deutlich ein und führt eine neue Reihe von Berechtigungen ein, die speziell für Agenten gedacht sind – damit ist der von den Testern genutzte Weg versperrt. Google hat keine vergleichbare Korrektur angekündigt. Auf Android ist derzeit der einzige Riegel vor dieser Tür ein Schalter in den Einstellungen.

Schlagwörter: , , , , , , ,

Fügen Sie uns bei Google hinzu

Diskussion

Es gibt 0 Kommentare.