OpenAIs Jalapeño-Chip fuhrt Inferenz mit 1,9-facher Effizienz von Nvidia Blackwell pro Watt durch

OpenAI hat einen eigenen Chip entwickelt. Das Unternehmen stellte Jalapeño auf der Konferenz Hot Chips am 25. August vor – ein in Zusammenarbeit mit Broadcom entwickelter Silizium-Entwurf, der Inferenzanfragen mit 85.448 Tokens pro Sekunde pro Kilowatt verarbeitet. Nvidias Blackwell-Architektur, der aktuelle Marktstandard, erreicht bei derselben Kennzahl 44.960. Das Verhältnis beträgt das 1,9-Fache.

Die Kennzahl ist entscheidend, weil Inferenz die Betriebsphase von KI-Systemen darstellt. Training findet einmal statt; Inferenz läuft jedes Mal ab, wenn jemand eine Anfrage an ChatGPT sendet, eine API nutzt oder mit einer beliebigen Anwendung interagiert, die ein Sprachmodell ausführt. Die Kosten der Inferenz im großen Maßstab sind der Haupttreiber der Wirtschaftlichkeit von KI-Diensten. Ein Chip, der den Energieverbrauch der Inferenz grob halbiert, verändert – wenn er breit eingesetzt wird – die Kosten pro Abfrage beim Betrieb von Modellen.

Bei interaktiven Workloads, bei denen die Antwortlatenz der begrenzende Faktor ist, vergrößert sich der Vorteil von Jalapeño weiter. Der SemiAnalysis-Bericht über die Hot-Chips-Präsentation bezifferte die Spanne auf das 2,1- bis 4,1-Fache gegenüber Blackwell bei diesen Benchmarks. Die Streuung spiegelt Unterschiede zwischen spezifischen Aufgabentypen wider; die untere Grenze ist der konservativere Vergleich.

Der Chip verarbeitet ausschließlich Inferenz. Er führt keine Trainingsworkloads aus, mit denen die Modelle erzeugt wurden, die Jalapeño betreiben soll. Diese erfordern weiterhin Nvidia-Hardware. Broadcom fertigte den Chip im Rahmen einer kundenspezifischen Entwicklungsvereinbarung mit OpenAI, nicht als kommerzielles Produkt. Diese Regelung gibt OpenAI eine maßgeschneiderte Inferenzschicht, ohne dass das Unternehmen auf dem Markt für Handelschips konkurrieren müsste.

Der Zeitplan für den Einsatz bei OpenAI ist begrenzt. Eine kleinskalige Auslieferung ist vor Ende 2026 geplant; eine breitere Bereitstellung ist ein Ziel für 2027. Der Chip befindet sich noch in der Phase von Ingenieursmustern, was bedeutet, dass die Produktionsversion noch nicht in großem Maßstab ausgeliefert wurde. Die Benchmarks auf der Hot Chips stellen das angestrebte Designziel dar, keine verifizierte Produktionsserie. Die Zeitspanne zwischen einer Konferenzankündigung und dem operationellen Einsatz kundenspezifischer Siliziumlösungen wird üblicherweise in Jahren gemessen.

Die Ankündigung fügt sich in einen breiteren Trend großer KI-Unternehmen hin zu maßgeschneiderten Chips ein. Google betreibt seit einem Jahrzehnt eigene Tensor Processing Units in der Produktion. Amazon setzt Trainium und Inferentia in AWS ein. Meta verwendet eigene Inferenzchips intern. OpenAIs Einstieg bestätigt, dass sich in der Größenordnung von Hunderten Millionen aktiver Nutzer die Wirtschaftlichkeit, sich vollständig auf externe GPU-Anbieter zu verlassen, so weit verschlechtert, dass die Kosten eines maßgeschneiderten Entwicklungsprogramms gerechtfertigt sind.

Schlagwörter: OpenAI, nvidia, KI-Chips, Broadcom, Inferenz, Jalapeño