AMD kauft Taalas — KI-Chip ätzt Modellgewichte in Silizium, 48-mal schneller als Nvidia

AMD übernimmt Taalas, ein Startup aus Toronto, das Chips herstellt, die KI-Modellgewichte dauerhaft in Silizium einbetten, anstatt sie bei der Inferenz aus dem Speicher zu laden. Der HC1-Chip des Unternehmens erzeugt 16.960 Tokens pro Sekunde mit Meta Llama 3.1 8B – eine Zahl, die AMD zufolge 48-mal schneller ist als Nvidias GPUs und 8,5-mal schneller als Cerebras, der Spezialist für Inferenz-Chips.

Die Technologie hinter Taalas nutzt eine strukturelle Ineffizienz der aktuellen KI-Inferenz aus. Standard-GPUs sind flexibel: Sie können jedes Modell ausführen, bei Bedarf zwischen Aufgaben wechseln und neu programmiert werden, wenn ein Modell aktualisiert wird. Diese Flexibilität ist auch der Flaschenhals. Das Laden von Milliarden Modellgewichten aus dem Hochgeschwindigkeitsspeicher in die Recheneinheiten bei jeder Inferenzanfrage verursacht Latenzen, die auch durch das Hinzufügen weiterer GPUs nicht beseitigt werden können.

Taalas bettet diese Gewichte direkt bei der Herstellung in das Silizium des Chips ein. Das Modell lebt in der Hardware, nicht im Speicher, der pro Anfrage abgerufen wird. Die von AMD beworbenen Durchsatzzahlen spiegeln diese architektonische Entscheidung wider – allerdings zu einem Preis, den das Unternehmen nicht kleinredet: Sobald ein Chip mit einem bestimmten Modell gefertigt ist, erfordert ein Update einen neuen Silizium-Tape-Out. Taalas gibt an, dass für eine Modellaktualisierung nur zwei Metallschichten geändert werden müssen, was den Zyklus verkürzt, aber diese Chips können sich nicht spontan an eine neuere Modellversion anpassen.

Im Rahmen von AMDs Integrationsplan übernehmen die Taalas-Chips die Tokenerzeugung – die zeitaufwändigste Phase der Inferenz – während AMDs Instinct-GPUs die Prefill- und Attention-Berechnung zu Beginn jeder Anfrage erledigen. Das kombinierte System läuft auf AMDs Helios-Rack-Scale-Plattform. Für Cloud-Betreiber mit festen Modell-Workloads – Chatbots für den Kundenservice, Dokumentenverarbeitungspipelines, Echtzeitübersetzung – verspricht das System einen Durchsatz pro Rack-Watt, den flexible GPU-Cluster zu vergleichbaren Kosten nicht erreichen können.

Ob diese Rechnung dem Aktualisierungstempo der Branche standhält, ist die Kernfrage. Große Forschungslabore aktualisieren ihre Produktionsmodelle inzwischen etwa alle sechs Monate. Ein Chip, der heute auf Llama 3.1 8B festgelegt ist, könnte ausgemustert werden müssen, sobald ein Nachfolger zum Standard-Deployment-Ziel wird. Die Behauptung von Taalas, dass nur zwei Metallschichten ausgetauscht werden müssen, hilft zwar, aber ein Silizium-Tape-Out dauert immer noch Monate – eine echte Verzögerung, wenn Modelle schneller wechseln als Hardwarezyklen.

Die Übernahme erfolgt sieben Monate nachdem Nvidia Groq übernommen hat – einen anderen Ansatz für dasselbe Inferenzgeschwindigkeitsproblem – für einen berichteten Preis von 20 Milliarden Dollar. Groqs Tensor-Streaming-Prozessoren optimieren ebenfalls den Durchsatz, behalten aber die Fähigkeit, verschiedene Modelle zu laden. AMD zahlt einen nicht genannten, aber vermutlich geringeren Betrag für ein Startup, das die gegenteilige Wette eingegangen ist.

Für Käufer gehört die Taalas-Übernahme eher zur Roadmap als zum Katalog. Der HC2-Chip, der auf Modelle mit bis zu 20 Milliarden Parametern abzielt, befindet sich noch in der Entwicklung. Der 48x-Benchmark gilt für den HC1 unter spezifischen Bedingungen – reale Einsätze mit gemischtem Traffic und variierenden Batch-Größen werden andere Ergebnisse liefern. Der Abschluss der Transaktion wird für das vierte Quartal 2026 erwartet, vorbehaltlich der behördlichen Prüfung. Der HC1 wurde im Februar in 6 nm ausgeliefert; der HC2-Auslieferungstermin und der Zielprozessknoten sind noch nicht bestätigt.

Schlagwörter: nvidia, KI-Chips, AMD, KI-Inferenz, Taalas