Drei Jahre lang drehte sich die KI-Debatte darum, wer das größte Modell baut. Die unscheinbarere Frage — was es kostet, dieses Modell millionenfach am Tag antworten zu lassen, ohne dass es zusammenbricht — ist die Stelle, an der heute das Geld versickert. llm-d, das Open-Source-Inferenzprojekt von Red Hat, IBM, Google Cloud, CoreWeave und Nvidia, hat Version 1.0 erreicht, und es zielt genau auf dieses Leck.

Der Mechanismus lässt sich nüchtern beschreiben. Ein KI-Agent stellt nicht eine Frage und verschwindet. Er hält lange Sitzungen offen, liest dieselben Dokumente immer wieder und startet parallele Helfer, die die Hardware in unvorhersehbaren Schüben belasten. In diesem Muster kann die Verwaltung des Kontexts teurer sein als die Antwort selbst. Jedes Team, das Modelle im großen Maßstab betreibt, stößt laut Shadi Saba, Vice President of Engineering für KI/ML bei CoreWeave, auf „Kontext, dessen Verwaltung oft mehr kostet als die Ausgabe“. Die Antwort von llm-d heißt Routing: Jede Anfrage geht an den Server, der ihren Kontext bereits im Cache hält, statt ihn von Grund auf neu zu berechnen.

Fisheye view of a server rack in the Datarmor high-performance computing and AI centre in Brest — Image: Gregory Rocher, Ifremer / Wikimedia Commons (CC BY 4.0)

Version 1.0 bringt weniger neue Tricks als die Gewissheit, die vorhandenen über Monate betreiben zu können. Das Projekt bot bereits cache-bewusstes Routing, das Auslagern des KV-Caches und die Aufteilung der Prefill- und Decode-Phasen auf verschiedene Maschinen, aufbauend auf Modellservern wie vLLM und SGLang. Neu sind Prioritäts- und Fairness-Regeln, damit latenzkritische Anfragen und schubweise arbeitende Agenten eine GPU-Flotte teilen können, ohne einander auszuhungern, ein hochverfügbarer Router für Updates ohne Ausfallzeit, eine stabile v1-Konfigurations-API und sitzungsbewusstes Routing, das mehrstufige Gespräche nah an ihrem zwischengespeicherten Zustand hält.

Die Leistungszahlen der Ankündigung stammen aus Demonstrationen der Beteiligten selbst und sind daher als Behauptungen, nicht als Prüfberichte zu lesen. In einer davon betrieben Forscher GLM 5.2, ein Open-Weight-Modell mit rund 753 Milliarden Parametern, auf weit verbreiteten Nvidia-GPUs — mit Spitzen von über 6,6 Millionen Ausgabe-Tokens pro Minute und bis zu 3.000 gleichzeitigen Coding-Agenten. Zu aktuellen Cloud-Mietpreisen sei das pro Token fünf- bis zehnmal günstiger gewesen als vergleichbare kommerzielle API-Preise. IBM Research meldet bei einem Chipdesign-Projekt zur Quantenfehlerkorrektur 11,5-mal niedrigere Inferenzkosten als mit einer rein proprietären Konfiguration, bei einer Cache-Trefferquote von etwa 98 %.

Aufschlussreicher ist, wer bereits darauf setzt. JetBrains zufolge bedient llm-d einen erheblichen Teil des Traffics hinter Junie Lite, dem kostenlosen Tarif seines Coding-Agenten; DigitalOcean betreibt darauf seine Serverless-Inferenz, und Mistral sowie Roblox beschreiben, wie sie ihre Serving-Schicht auf dem Projekt aufbauen. Google Cloud integriert 1.0 in Google Kubernetes Engine über sein gesamtes TPU- und Nvidia-GPU-Angebot, AMD bringt es auf seine Instinct-Beschleuniger.

Das 2025 gegründete und heute von der Cloud Native Computing Foundation verwaltete Projekt zählt mehr als 500 Mitwirkende aus über 25 Organisationen. Version 1.0 wurde am 20. Oktober 2026 in San José angekündigt und ist ab sofort als Open-Source-Software verfügbar.

Die Folge ist eine Machtverschiebung. Wenn das Teure an KI der Betrieb ist und nicht das Training, kontrolliert die Rechnung, wer die Serving-Schicht kontrolliert. llm-d ist der Versuch, diese Schicht gemeinsam und offen zu halten, statt sie in der API eines einzelnen Anbieters einzusperren.

Schlagwörter: nvidia, KI-Agenten, IBM, CoreWeave, große Sprachmodelle, Red Hat