KI

Anthropic sieht eigene KI-Schwelle zur Selbstverbesserung überschritten

Adrian Kessler
Fügen Sie uns bei Google hinzu

Anthropic ist offiziell zu dem Schluss gekommen, dass künstliche Intelligenz ihre eigene Forschung inzwischen so stark beschleunigt, dass eine selbst gesetzte Grenze überschritten ist. Im überarbeiteten Börsenprospekt erklärt das Unternehmen hinter Claude, es habe die in seiner Responsible Scaling Policy festgelegte Schwelle für die Forschungs- und Entwicklungskapazitäten von KI erreicht. Dieses interne Regelwerk legt fest, wie viel Sicherheit und Aufsicht die Modelle benötigen. Die Richtlinie beschreibt die Schwelle als Beginn einer rekursiven Selbstverbesserung: den Punkt, an dem KI-Systeme anfangen, die Entwicklung besserer KI selbst zu beschleunigen.

Ungewöhnlich an dieser Einschätzung ist, worauf sie nicht beruht. Anthropic schreibt, man sei zu dem Schluss gekommen „auf Grundlage unserer Erwartungen an künftige Modelle und unseres allgemeinen Fortschrittstempos, nicht aufgrund dessen, was wir bei aktuellen Modellen beobachtet haben“. Kein käufliches Claude-Modell hat nachweislich die Grenze überschritten. Das Unternehmen handelt auf Basis eigener Prognosen – und teilt dies den Anlegern mit, bevor der Aktienhandel beginnt.

Die angeführten Belege stammen aus dem Unternehmen selbst. Dem Prospekt zufolge verfasste Claude in einem der jüngsten Monate mehr als 90 Prozent der Beiträge zur Codebasis von Anthropic. Zugleich ist die tägliche Menge an Code, die jeder Ingenieur beisteuert, um mehr als das 45-Fache gestiegen. Anthropic ergänzt, seine Modelle „schreiben einen großen und wachsenden Anteil unseres Codes und übernehmen zunehmend unsere Forschung, einschließlich der Sicherheitsforschung“.

Die Richtlinie sieht zwei Wege vor, diese Schwelle zu überschreiten. Der eine wäre ein Modell, das sämtliche Forschungswissenschaftler und Ingenieure von Anthropic zu wettbewerbsfähigen Kosten vollständig ersetzen kann. Der andere ist eine „dramatische Beschleunigung“ des KI-Fortschritts. Die Richtlinie definiert sie als etwa zwei Jahre Fortschritt innerhalb eines Jahres, plausiblerweise angetrieben durch automatisierte Forschung. Da für diesen zweiten Test bereits genügt, wenn das Unternehmen einen solchen Sprung „beobachten oder erwarten“ kann, reicht eine Prognose aus, um die Schwelle auszulösen.

Mit der Überschreitung verpflichtet sich Anthropic zu umfangreicheren Schutzmaßnahmen. Die Richtlinie fordert „Moonshot“-Sicherheitsprojekte, die den weltweit am besten ausgestatteten Angreifern standhalten sollen, sowie einen Zustand, in dem „alles im Blick“ ist: Jede kritische Aktivität bei der KI-Entwicklung wird protokolliert und von KI auf Bedrohungen hin analysiert – auch auf Gefahren durch interne Akteure, ob Menschen oder Maschinen. Das interne Red-Team muss zudem mehr Jailbreaks finden als sämtliche externen Forschenden in den Bug-Bounty-Programmen des Unternehmens zusammen. Dem Prospekt zufolge hat Anthropic bereits das Vortraining eines neuen Spitzenmodells um mehr als einen Monat verschoben, um den Schutz vor dem Diebstahl seiner Modellgewichte zu verstärken. Außerdem prüft das Unternehmen Regeln, nach denen bestimmte Forschungsentscheidungen von Menschen genehmigt werden müssen, während Claude zunehmend selbst diese Arbeit übernimmt.

Für Menschen, die Claude beruflich oder Claude Code nutzen, könnten sich dadurch Veröffentlichungen verzögern. Im gemeinsam mit den Börsenunterlagen veröffentlichten Schreiben der Gründer heißt es, Anthropic werde sich möglicherweise bisweilen dafür entscheiden, „langsamer voranzugehen, als wir könnten, um unsere Systeme sicherer zu machen – selbst wenn uns das einen Wettbewerbsnachteil bringt“. An den Apps ändert sich heute nichts.

Die Einschätzung ist eine Selbstbewertung im Rahmen einer freiwilligen Richtlinie, die Anthropic selbst verfasst hat und überarbeiten kann; ein unabhängiger Prüfer hat sie nicht bestätigt. Die Richtlinie räumt ein, dass sich die Schwelle „in der Praxis als schwer umsetzbar erwiesen hat“. Im Börsenprospekt wird zudem zugestanden, dass ein Großteil der Belege aus nachlaufenden Indikatoren besteht – eine tatsächliche Beschleunigung könnte also erst erkannt werden, nachdem sie bereits eingetreten ist. Risikohinweise in einem Börsenprospekt dienen außerdem auch dazu, ein Unternehmen vor künftigen Klagen zu schützen. In einer früheren Fassung desselben Dokuments hieß es laut Gizmodo lediglich, Anthropic „könnte die Kriterien in Kürze erfüllen“.

Anthropic erklärt, die zugrunde liegenden Daten weiterhin auszuwerten und weitere Berichte darüber zu veröffentlichen, was das Erreichen der Schwelle bedeutet. Der Ausgabepreis der Aktien soll am 18. November festgelegt werden; am 19. November sollen sie unter dem Börsenkürzel ANT an der Nasdaq in den Handel starten. Vorgesehen ist eine Preisspanne von 70 bis 78 Dollar je Aktie. Bislang ist Anthropics eigene Prognose der einzige Beleg dafür, dass die Grenze überschritten wurde.

Schlagwörter: , , , , ,

Fügen Sie uns bei Google hinzu

Diskussion

Es gibt 0 Kommentare.