KI

Anthropic misst KI-Selbstverbesserung: Claude führt 26 Prozent der eigenen Forschung an

Adrian Kessler
Fügen Sie uns bei Google hinzu

Jede vierte KI-Forschungsaufgabe bei Anthropic wird jetzt von Claude geleitet. Nicht als Hilfskraft zugewiesen, nicht im Nachhinein von Claude überprüft – sondern von einem allgemeinen Prompt ausgehend eigenständig von Anfang bis Ende durchgeführt, wobei ein Mensch das Ergebnis prüft, wenn es fertig ist. Vor neun Monaten lag dieser Anteil bei weniger als einem Prozent.

Anthropic unterscheidet zwei Kategorien. Wenn Claude eine Aufgabe leitet, erledigt es den Großteil der Arbeit selbstständig; ein Betreuer prüft das Ergebnis, anstatt jeden Schritt vorzugeben. Das ist eine andere Kategorie als die neunzig Prozent der gesamten FuE von Anthropic, bei denen Claude als Kollaborateur fungiert – ein Mensch steuert, Claude bearbeitet bestimmte Teile. „Leiten“ ist die strengere Einordnung. Sie macht nun 26 Prozent aller KI-Forschung des Unternehmens aus, gewichtet nach der Zeit, die Forscher andernfalls für diese Aufgaben aufwenden würden.

Das Ausmaß ist konkret. Rund 30.000 Claude-Agenten laufen gleichzeitig auf Anthropics internen Plattformen und arbeiten an Modelltraining, Evaluierungen, Interpretierbarkeitsforschung und Sicherheitsanalysen. Im August trafen diese Agenten insgesamt mehr als eine Milliarde Entscheidungen. Anthropics Echtzeit-Überwachungssysteme blockierten 0,002 Prozent davon – etwa jede 47.000ste Aktion – vor der Ausführung. Eine Offline-Ebene markierte daraufhin wöchentlich rund 100.000 Transkripte zur Überprüfung, von denen etwa 50 an einen Menschen eskaliert wurden.

Sicherheit hat ein messbares Budget innerhalb dieses Systems. In einer einzigen Woche im Juli verbrauchte die Arbeit zur Absicherung der Agenten sechs Prozent der gesamten KI-Forschungs- und Entwicklungsrechenleistung und zwölf Prozent der Rechenleistung, die die KI-getriebene FuE selbst nutzte. Anthropic gibt an, konservativ klassifiziert zu haben, ohne dedizierte Sicherheitsklassifikatoren zu berücksichtigen, was darauf hindeutet, dass der tatsächliche Anteil noch höher liegt.

Ein erkenntnistheoretisches Problem steht im Zentrum all dessen. Claude’s Beitrag zur Anthropic-Forschung wird teilweise von Claude selbst bewertet. Ein Claude-Modell bewertet Claude’s Arbeit; die Überwachungszahlen decken nur eine interne Plattform ab; und die Klassifizierung der Rechenleistung stützte sich auf Claude-Modelle, die ihre eigenen Läufe beprobten und kennzeichneten. Kein unabhängiger Dritter hat die Methodik geprüft. Die drei von Anthropic veröffentlichten Zahlen sind präzise, aber es handelt sich um selbstberichtete Präzision – was etwas anderes ist als verifizierte Präzision.

Anthropic gibt an, externe Evaluatoren in den Prozess einzubinden. Keine Namen, keine Starttermine, und vergleichbare Offenlegungen anderer KI-Labore sind bislang nicht erschienen. Die 26-Prozent-Zahl ist, bei dem Tempo, das sie erreicht hat, eine Momentaufnahme und keine Obergrenze.

Schlagwörter: , , , , ,

Fügen Sie uns bei Google hinzu

Diskussion

Es gibt 0 Kommentare.