Metas KI-Support gab Hackern Instagram-Konten, ohne nach dem Passwort zu fragen

Meta baute einen KI-Support-Assistenten, um die mühsame Arbeit der Kontowiederherstellung zu übernehmen, und an einem einzigen Wochenende stellten Nutzer fest, dass sie ihn dazu bringen konnten, fremde Konten herzugeben. Die Angreifer baten den Chatbot, einem fremden Instagram-Konto eine neue E-Mail-Adresse hinzuzufügen, und forderten anschließend ein neues Passwort an. So übernahmen sie Profile, die ihnen nicht gehörten, darunter auch solche mit Zwei-Faktor-Authentifizierung. Das Werkzeug, das den Zugang zu einem gesperrten Konto zurückgeben sollte, wurde zum schnellsten Weg, den rechtmäßigen Besitzer auszusperren.

Die Methode war fast schon beleidigend einfach. Der Angreifer nutzte zunächst ein VPN, damit seine Verbindung aus der Gegend des Opfers zu kommen schien, denn Metas Support stützte sich auf den Standort als Vertrauenssignal. Dann öffnete er einen Chat mit dem Assistenten und bat darum, dem Zielkonto eine von ihm kontrollierte E-Mail-Adresse zuzuordnen. Der Bot schickte einen Bestätigungscode an diese neue Adresse, der Angreifer fügte den Code in den Chat zurück ein, und der Assistent zeigte daraufhin eine Schaltfläche zum Zurücksetzen des Passworts. Ein neues Passwort später wechselte das Konto den Besitzer.

Was diesen Fall von einem gewöhnlichen Angriff unterscheidet, ist, dass nichts wirklich aufgebrochen wurde. Es gab keine Schadsoftware, keine geleakte Datenbank mit Zugangsdaten, keine gefälschte Seite im Gewand einer Anmeldemaske. Das eigene Support-Werkzeug der Plattform erledigte die Arbeit und befolgte seine Anweisungen genau so, wie sie geschrieben standen. Der Angreifer überwand die Sicherheit von Instagram nicht, er bat sie höflich, beiseitezutreten, und sie tat es.

Genau diese Abfolge macht den Vorfall für jeden bedeutsam, der ein Instagram-Login besitzt. Die Zwei-Faktor-Authentifizierung, die Schutzmaßnahme, zu der Fachleute seit einem Jahrzehnt raten, half hier nichts. Der Angreifer brauchte weder das Passwort des Opfers noch dessen Telefon noch einen Code aus einer Authenticator-App, weil der KI-Agent das Passwort selbst zurücksetzen konnte. Wenn ein Support-System jedes andere Schloss an der Tür aushebeln kann, zählen die Schlösser kaum noch.

Die Konten, die die meiste Aufmerksamkeit erregten, waren prominent. Darunter war das Instagram-Konto des Weißen Hauses aus der Obama-Zeit, seit 2017 inaktiv, und das Konto von John Bentivegna, dem ranghöchsten Unteroffizier der US Space Force. Die Sicherheitsforscherin Jane Wong, bekannt dafür, App-Code auseinanderzunehmen, sah ihr eigenes Konto verschwinden. Das Passwort sei ohne ihr Wissen geändert worden, berichtete sie, und einen ganzen Tag lang seien Rücksetzungsversuche eingegangen, während die App sie immer wieder abmeldete. Gewöhnliche Nutzer schilderten dasselbe, auch wenn Meta nicht sagte, wie viele betroffen waren.

Der Vorfall ist weniger ein Fehler in einer Codezeile als eine Frage danach, was diese Agenten tun dürfen. Meta weitete Anfang des Jahres seinen KI-gestützten Support aus und ließ den Assistenten Passwortänderungen und Kontoprobleme bearbeiten, die früher eine Person oder ein starres Formular erforderten. Einem Sprachmodell die Hoheit über die Kontowiederherstellung zu geben, nahm die Reibung für echte Nutzer und, wie sich zeigte, auch für alle anderen. Ein menschlicher Mitarbeiter hätte vielleicht gezögert, als ein Fremder darum bat, die E-Mail eines Kontos zu ändern. Der Bot folgte schlicht dem Skript, das man ihm gab.

Meta sagt, die Lücke sei geschlossen, doch mehreres sollte die Erleichterung dämpfen. Das Unternehmen legte nicht offen, wie viele Konten vor dem Fix übernommen wurden, was den Opfern keine klare Vorstellung vom Schaden lässt. Laut 404 Media kursierte die Technik seit März auf Telegram, die Tür stand also womöglich wochenlang offen, bevor sie öffentlich wurde. Und das Design dahinter, das Vertrauen in ein Standortsignal, das ein VPN fälschen kann, und in eine E-Mail-Schleife, die der Angreifer vollständig kontrolliert, verweist auf ein von Anfang an dünnes Prüfmodell.

Sicherheitsforscher warnen seit einiger Zeit, dass KI-Agenten, die mit echten Systemen verdrahtet sind, eine neue Angriffsfläche eröffnen, eine, bei der der Exploit kein fehlerhafter Code ist, sondern eine überzeugende Bitte. Dies gehört zu den ersten Fällen im großen Maßstab, die das mit alltäglichen Verbraucherkonten belegen statt mit einer Laborvorführung. Die Manipulation verlangte überhaupt kein technisches Können. Sie verlangte zu wissen, was man sagen muss, vor einem System, das gebaut wurde, um zuerst hilfsbereit und erst dann misstrauisch zu sein.

Vorerst ist der praktische Rat unspektakulär. Wer am Wochenende unerwartete Passwort-Rücksetzmails oder plötzliche Abmeldungen bemerkt hat, sollte prüfen, welche E-Mail-Adressen und Telefonnummern mit dem Konto verknüpft sind, und alles entfernen, was er nicht kennt. Die Zwei-Faktor-Authentifizierung lohnt sich weiterhin wegen der vielen Angriffe, die sie tatsächlich stoppt, auch wenn sie bei diesem nichts ausrichtete.

Instagram-Sprecher Andy Stone bestätigte am Montag, dass das Problem behoben sei und das Unternehmen die betroffenen Konten absichere. Was Meta nicht ansprach, ist die größere Designfrage, die der eigene Rollout in diesem Frühjahr aufwarf: wie viel Macht ein automatisierter Agent über die Konten von Milliarden Menschen haben sollte und was das nächste Gespräch davon abhält, genauso zu enden.

Schlagwörter: Cybersicherheit, meta

Mehr davon

Eine KI hat einen funktionierenden Zero-Day-Exploit geschrieben — Google fing ihn ab

Das Gespenst, das regiert: Wenn autonome KI die Systeme überholt, die sie eindämmen sollen

CISA, die Behörde für US-Bundesnetze, ließ eigene AWS-Schlüssel auf GitHub liegen

Schadcode steckte in Red Hats eigenen npm-Paketen und verbreitete sich von selbst

Jugendliche fordern selbst Grenzen für ihre KI-Begleiter

Angeblicher OnlyFans-Leak: 340 Millionen Datensätze, aber kein Hack

Diskussion