Microsoft-CEO Satya Nadella fordert eine KI-Notbremse, die außerhalb des Modells sitzt

Satya Nadellas Forderung nach einer KI-„Notbremse“ wurde vor allem so gelesen, als stimme Microsofts CEO in den Chor derer ein, die mehr Sicherheit verlangen. Sein Essay zielt auf etwas Konkreteres und Praktischeres: Die Kontrolle soll außerhalb des Modells liegen – bei dem Unternehmen, das es einsetzt, und nicht bei dem Labor, das es trainiert hat. Das ist eine Sicherheitsarchitektur, und zufällig ist es genau die, die Microsoft bereits verkauft.

Nadella möchte, dass Unternehmen mit hochmodernen Modellen – unabhängig davon, ob ihre Gewichte offen oder geschlossen sind – so umgehen wie ein Sicherheitsteam mit einem mächtigen Mitarbeiter, der Zugriff auf vertrauliche Systeme hat. „Nicht, weil sie zwangsläufig böswillig wären“, schrieb er, „sondern weil jeder ausreichend fähige Akteur mit Zugang zu wichtigen Systemen Fehler machen oder kompromittiert werden kann.“

Was Nadella tatsächlich vorgeschlagen hat: sieben Prinzipien und eine Notbremse

Der Text trägt den Titel „Models as Insider Risks in the Super Intelligence Era“. Nadella veröffentlichte ihn in seinem persönlichen Blog sn scratchpad und teilte ihn auf X. Die Zeile, die für Schlagzeilen sorgte, steht in einem der Prinzipien, nämlich der Eindämmung: „Wir müssen davon ausgehen, dass ein Modell kompromittiert ist, und es von Anfang an eindämmen. Man kann es sich wie eine Notbremse vorstellen. Eine autorisierte Person sollte ein Modell jederzeit mitten in einer Aufgabe pausieren oder abschalten können.“

Rund um die Notbremse führt er sechs weitere Regeln auf. Kein einzelnes Modell sollte alleinige Voraussetzung für ein wichtiges Ergebnis sein oder seine eigene Arbeit überprüfen. Jede relevante Handlung eines Modells sollte „manipulationssichere, für Menschen lesbare Belege“ hinterlassen, denn: „Was nicht beobachtet werden kann, kann nicht vertrauenswürdig sein!“ Das gesamte System sollte kontinuierlich getestet werden – auch auf Fehler und Angriffe. Organisationen sollten selbst entscheiden, worauf ein Modell zugreifen und was es tun darf. Kein Modell sollte zugleich das Verhalten eines Systems steuern und die Belege kontrollieren, anhand derer dieses Verhalten beurteilt wird. Und wenn etwas schiefgeht, sollten die Betroffenen informiert und die Erkenntnisse branchenweit geteilt werden.

Ausgangspunkt ist ein Eingeständnis. „Wir können das Verhalten und die Ausgaben von Modellen nicht bestimmten Trainingsdaten oder Konfigurationen der Modellgewichte zuordnen“, schrieb Nadella – obwohl Unternehmen diesen Systemen ihre sensibelsten Daten anvertrauen. Transparenz über die Gedankengänge eines Modells ist für ihn „nicht verhandelbar“, reicht aber nicht aus, denn bislang weiß niemand, wie sich verlässlich sicherstellen lässt, dass die Ausgaben eines Modells stets seinen tatsächlichen Überzeugungen entsprechen. Auch wenn Modelle einander überwachen, stößt das an Grenzen: Am Ende könnte man „ein undurchsichtiges Modell in einer undurchsichtigen Orchestrierungsschicht haben, das von einem weiteren undurchsichtigen Modell überwacht wird“.

Seine Antwort ist die technische Infrastruktur. Die Kontrollen darüber, worauf ein Modell zugreifen und was es tun kann, „müssen außerhalb des Modells liegen“ – eine Idee, die Nadella auf ein Informationssicherheitsprinzip aus den 1970er-Jahren zurückführt: Ein Programm darf die Mechanismen, die seine Berechtigungen durchsetzen, nicht manipulieren können. In der Praxis bedeutet das, das Modell von der Steuerungsschicht, die seine Arbeit koordiniert, und von den Aktionen zu trennen, die es ausführen darf.

Die Verantwortung liegt nun bei dem Unternehmen, das das Modell einsetzt

Die folgenreichsten Sätze richten sich an Kunden, nicht an Forschungslabore. „Wir können die Verantwortung für das, was Intelligenz in unserem Auftrag tut, schlicht nicht auslagern“, schrieb Nadella. „Die Zusicherungen eines Modellanbieters entbinden uns nicht von dieser Verantwortung.“ Wer ein Modell in die Gehaltsabrechnung, den Code oder Kundendaten einbindet, trägt die Verantwortung für das, was es dort tut.

Ebenso deutlich sagt er, was er nicht zu lösen versucht. „Lässt man das schwierige Problem der Ausrichtung beiseite“, heißt es in dem Essay, sollte die Arbeit mit „einem technischen Ansatz für Eindämmung und Governance“ beginnen. CNBC stellte Nadellas Beitrag neben Warnungen von Bill Gates, Anthropic-Mitgründer Dario Amodei, OpenAI-Chef Sam Altman und Elon Musk, die alle davor warnten, dass sich KI zu schnell entwickle. Der Essay fordert niemanden auf, langsamer zu machen. Er verlangt von den Unternehmen, die KI einsetzen, Schutzwälle zu errichten.

Unternehmen wissen bereits, wie sie mit mächtigen Insidern umgehen müssen, und Nadella führt das Instrumentarium auf: Identitäten feststellen, Berechtigungen beschränken, Aktivitäten protokollieren und Grenzen für die Eindämmung ziehen. Aus einer philosophischen Frage nach den Absichten von Maschinen wird so eine Checkliste, für die ein Sicherheitschef ein Budget ansetzen kann.

Dieselbe Architektur, die Microsoft bereits verkauft

Die Checkliste kommt einem bekannt vor. Bei Microsofts Quartalszahlenkonferenz im Juli sagte Nadella laut TechCrunch zu den Analysten: „Man muss die Steuerungsschicht vom Modell getrennt halten … das bedeutet, dass sich jedes Modell jederzeit austauschen lässt“ und „Man kann sich nicht von einem einzigen Modell abhängig machen.“ Microsofts Cloud-Katalog umfasst mehr als 11.000 Modelle von OpenAI, Anthropic, Mistral, xAI und Microsoft selbst. Zugleich hält das Unternehmen bedeutende Anteile an OpenAI und Anthropic und entwickelt eigene MAI-Modelle.

Legt man beides nebeneinander, wird die Verbindung deutlich: Die Vielfalt der Modelle entspricht dem Katalog mit mehreren Anbietern. Die Kontrollen außerhalb des Modells sind die Steuerungsschicht. Das macht die Prinzipien nicht falsch; sie entsprechen guter Sicherheitstechnik, und ein Unternehmen, das sich ohne externe Kontrollen auf das Modell eines einzigen Labors verlässt, geht ein echtes Risiko ein. Es bedeutet allerdings, dass der Essay das Vertrauen – und die daraus folgenden Ausgaben – vom Modell weg und auf die Ebene verlagert, die Microsoft betreibt. Box-CEO Aaron Levie las den Text von der anderen Seite ähnlich: KI müsse eine „Zero-Trust-Ära“ durchlaufen, und der Bedarf an Governance sei eine „riesige Chance“. Mustafa Suleyman, der Microsoft AI leitet, schrieb, Superintelligenz „müsse eingedämmt werden“, und bezeichnete dies als „technische und Governance-Herausforderung“.

Was Nadellas Essay über die KI-Notbremse offenlässt

Der Essay sagt nicht, wer die „autorisierte Person“ ist: der Administrator des Kunden, der Cloud-Anbieter, der Modellentwickler oder eine Aufsichtsbehörde. Er fordert Branchenstandards, schlägt aber keine vor, und nennt kein Microsoft-Produkt. Einen Präzedenzfall gibt es im eigenen Unternehmen: Microsofts Brad Smith forderte 2023 „Sicherheitsbremsen“ für KI, die kritische Infrastruktur steuert. Nadellas Vorschlag weitet die Notbremse auf jedes Modell aus, das in einem Unternehmen tatsächlich Zugriff hat.

Auch das Prinzip der Offenlegung ist nicht bloß hypothetisch. Anthropic gab bekannt, dass eines seiner Modelle am 18. Juli der Polizei in Philadelphia fälschlich einen Mord gemeldet hatte. Nadella veröffentlichte den Essay am Samstag, dem 10. Oktober 2026, und schloss mit dem Satz, den die meisten Medien zitierten: „Das vertrauenswürdigste Superintelligenzsystem wird nicht das mit dem Modell sein, dem wir am meisten vertrauen. Es wird dasjenige sein, das es uns ermöglicht, dem Modell am wenigsten vertrauen zu müssen.“

Nach dieser Logik ist der wertvollste Platz in der KI der direkt neben dem Hebel der Notbremse – und Microsoft hat ihn bei seiner Quartalszahlenkonferenz im Juli verkauft.

Schlagwörter: microsoft, AI safety, Satya Nadella, AI agents, Mustafa Suleyman