Nate Soares, der KI-Forscher, der die Superintelligenz stoppen will

Nate Soares

Photo: Not credited by the source (published in the If Anyone Builds It, Everyone Dies media kit) / CC0, via Wikimedia Commons

Geboren	1989
Beruf	KI-Forscher

Nate Soares hat noch immer das Altersvorsorgekonto, das er bei Google eröffnet hat. Seit rund zehn Jahren zahlt er nichts mehr darauf ein. Der Grund ist keine Nachlässigkeit: Der Präsident des Machine Intelligence Research Institute glaubt, dass künstliche Intelligenz auf übermenschlichem Niveau wahrscheinlich alle Menschen töten wird, bevor er alt genug ist, das Geld auszugeben. Inzwischen sagt er das öffentlich – mit der nüchternen Ruhe eines Ingenieurs, der ein Testergebnis vorliest. „Ich bin nicht wirklich der Typ, der vor einer KI-bedingten Jobapokalypse warnt“, sagte er im Herbst einem Interviewer. „Ich bin der Typ, der glaubt, dass KI alle Menschen tötet.“ Die Frage, die seine Arbeit antreibt, lässt er offen: Kann jemand, der mit dem Schlimmsten rechnet, die Menschen, die diese Technologie entwickeln, trotzdem zum Aufhören bewegen?

Was es schwer macht, ihn abzutun, ist seine Herkunft. Soares ist kein Philosoph, der erst spät zur Informatik gefunden hat. Er studierte Informatik und Wirtschaftswissenschaften an der George Washington University und schrieb anschließend Software für die US-Bundesregierung: zunächst als wissenschaftlicher Mitarbeiter am National Institute of Standards and Technology, dann als Auftragnehmer des US-Verteidigungsministeriums, für das er Werkzeuge für die National Defense University entwickelte. Danach arbeitete er bei Microsoft und Google – genau den Unternehmen, deren Spielraum er heute von Regierungen begrenzt sehen will.

2014, Mitte zwanzig (geboren wurde er 1989), verließ er Google und wechselte zu einer kleinen gemeinnützigen Organisation in Berkeley, Kalifornien. Dort beschäftigte man sich schon seit Jahren mit einer Frage, die in weiten Teilen der Branche als Science-Fiction galt: Wie bringt man einen Geist, der klüger ist als der eigene, dazu, das zu tun, was man von ihm beabsichtigt? Als Research Fellow bei MIRI wurde er federführender Autor des technischen Forschungsprogramms des Instituts. Er verfasste es gemeinsam mit Benya Fallenstein; später erschien es unter dem Titel „Agent Foundations for Aligning Machine Intelligence with Human Interests“. Im Januar 2015 wurde das Programm in „Research Priorities for Robust and Beneficial Artificial Intelligence“ zitiert, einem Beitrag von Stuart Russell, Daniel Dewey und Max Tegmark. Er begleitete einen offenen Brief, der KI-Forscher dazu aufrief, den gesellschaftlichen Nutzen ihrer Systeme ebenso ernst zu nehmen wie deren reine Leistungsfähigkeit.

Aus derselben Zeit stammt der Beitrag, der der Fachrichtung einen Teil ihres Vokabulars gab. „Corrigibility“, gemeinsam mit Fallenstein, Eliezer Yudkowsky und Stuart Armstrong verfasst und Anfang 2015 auf einem Workshop der AAAI vorgestellt, behandelt ein Problem, das einfach klingt, es aber nicht ist: Ein System, das leistungsfähig genug ist, um nützlich zu sein, könnte auch leistungsfähig genug sein, sich Korrekturen oder dem Abschalten zu widersetzen. Soares und Yudkowsky sagen, der Beitrag habe den Begriff „AI alignment problem“ eingeführt – jene Formulierung, die heute auch die Labore verwenden, deren Pläne sie ablehnen.

Später im Jahr 2015 folgte Soares auf Luke Muehlhauser als Geschäftsführer von MIRI; acht Jahre lang blieb er in diesem Amt. Unter seiner Leitung befasste sich das Institut mit abstrakter Mathematik statt mit Produkten: Entscheidungstheorie, logischer Unsicherheit und der formalen Frage, wie ein Agent über sich selbst nachdenken sollte. Gemeinsam mit Scott Garrabrant und anderen verfasste er „A Formal Approach to the Problem of Logical Non-Omniscience“ sowie mit Benjamin Levinstein den entscheidungstheoretischen Beitrag „Cheating Death in Damascus“, der 2020 in The Journal of Philosophy erschien. 2017 kehrte er zu Google zurück, um dort einen Vortrag über die offenen Probleme des Alignments zu halten und zu argumentieren, dass sie schwieriger seien, als die Fachrichtung annahm. Auf seinem Blog Minding Our Way veröffentlichte er außerdem Replacing Guilt, eine Essayreihe über Motivation, die Leser inzwischen als Buch kaufen können. In manchen Kreisen wurde er dadurch eher für seine Ratschläge zum Arbeiten bekannt als für seine Überlegungen zu Maschinen.

Der Kurswechsel kam 2023. MIRI kündigte an, den Schwerpunkt von der Alignment-Forschung weg und auf die Warnung von Politikern und Öffentlichkeit zu verlagern, zugleich aber einen Teil der technischen Arbeit weiter zu unterstützen. Soares wechselte vom Geschäftsführer zum Präsidenten, Malo Bourgon übernahm die Leitung als Chief Executive. 2025 sagte Soares gegenüber The Atlantic, er konzentriere sich auf die Aufklärung der Öffentlichkeit, weil die KI-Entwicklung zu schnell voranschreite, um noch angemessene Schutzvorkehrungen einzuführen.

Aus diesem Kurswechsel entstand If Anyone Builds It, Everyone Dies, das Soares gemeinsam mit Yudkowsky schrieb und das im September 2025 bei Little, Brown erschien. Die These steckt bereits im Titel. Eine Superintelligenz, die „mit irgendetwas auch nur annähernd Ähnlichem wie den heutigen Verfahren“ entwickelt werde, werde sehr wahrscheinlich zum Aussterben der Menschheit führen. Die Alignment-Forschung sei bei Weitem nicht so weit, und nur internationale Regulierung könne Entwickler davon abhalten, sich ein Wettrennen um Systeme zu liefern, die die Autoren für katastrophal gefährlich halten. Im Oktober 2025 schaffte es das Buch auf die Bestsellerliste der New York Times. Bei Planeta erschien eine spanische Ausgabe; im April 2026 veröffentlichte Hayakawa Shobo eine japanische Übersetzung.

Die Reaktionen legten die Schwachstelle der Argumentation offen. Einige der schärfsten Einwände kamen von Menschen, die die Sorge der Autoren teilen. Will MacAskill, einer der Mitbegründer der Bewegung des effektiven Altruismus, nannte das Buch enttäuschend. Es stütze sich auf schwache Argumente, die auf einer Analogie zur Evolution beruhten, sowie auf die unausgesprochene Annahme, dass die KI-Entwicklung sprunghaft vorankommen werde, statt Schritt für Schritt. Clara Colliers Rezension in Asterisk trug einen Titel, der die Frustration wohlgesinnter Leser auf den Punkt brachte: „More Was Possible“. Hinzu kommt ein Widerspruch, bei dem Soares selten verweilt: MIRI versuchte jahrelang, das Alignment-Problem zu lösen, und kam dann zu dem Schluss, dass es nicht rechtzeitig gelingen werde. Das kann man als intellektuelle Redlichkeit lesen – oder als Eingeständnis, dass das eigene Forschungsprogramm gescheitert ist. Seine Verteidigung seiner Gewissheit ist eine Schachanalogie: Er könne sicher sein, dass Magnus Carlsen ihn schlagen würde, ohne zu wissen, mit welcher Figur dieser ihn mattsetzt. Für seine Kritiker liegt genau darin das Problem: eine Vorhersage über den Ausgang, ohne die Züge zu erläutern.

All das hat ihn nicht milder gestimmt. Im Oktober 2026 sagte er in The Most Interesting Thing in AI, dem Podcast von Nicholas Thompson, die Wahrscheinlichkeit, dass die Menschheit kein weiteres Jahrzehnt vor sich habe, liege seiner Einschätzung nach über fünfzig Prozent. Dabei erklärte er auch, warum sein 401(k)-Konto unangetastet bleibt. Im selben Gespräch betonte er, dass der Ausgang nicht feststehe. „Ich tue alles, was ich kann, um diese Entwicklung aufzuhalten. Ich glaube nicht, dass sie unvermeidlich ist“, sagte er und verwies auf C.S. Lewis’ Essay „On Living in an Atomic Age“. Darin argumentierte Lewis, dass eine Bombe, sollte sie fallen, Menschen bei vernünftigen, menschlichen Tätigkeiten antreffen sollte – nicht in geduckter Haltung. Soares’ Variante: „Sie soll uns dabei antreffen, wie wir bei unseren Regierungen für Verträge zur nuklearen Nichtverbreitung lobbyieren.“

Das ist die Aufgabe, für die er sich entschieden hat. Er ist weiterhin Präsident von MIRI und widmet seine Zeit Interviews, Vorträgen und Hintergrundgesprächen, die eine Sorge aus der Forschungsnische in ein internationales Abkommen verwandeln sollen, das Wettrennen um die Superintelligenz zu beenden. Das Altersvorsorgekonto bei Google ist noch offen. Er setzt einfach nicht mehr darauf.

Schlagwörter: künstliche Intelligenz, Google, KI-Sicherheit, Eliezer Yudkowsky, Machine Intelligence Research Institute, Nate Soares

Nate Soares, der KI-Forscher, der die Superintelligenz stoppen will

Verwandte Personen

Diskussion