Das Interessante an Elon Musks jüngstem Update zu Grok ist nicht die Programmiersprache. Es ist das Eingeständnis, das darin steckt: Das nächste Modell kommt später, weil das Team seine bisherige Open-Source-Infrastruktur für das Training und den Betrieb von Modellen verworfen und eine eigene geschrieben hat.

Als Ankündigung eines bevorstehenden Starts klingt der Post optimistisch: Das Training ist abgeschlossen, die Ergebnisse in den Evaluierungen verbessern sich, noch vor Ende der Woche soll ein erster, schrittweiser Rollout beginnen. Als Einblick in die Systemarchitektur sagt er jedoch etwas Grundsätzlicheres aus. xAI, inzwischen Teil von SpaceX, ist zu dem Schluss gekommen, dass gemeinsam genutzte Frameworks das Unternehmen ausgebremst haben. Nun setzt es bei diesem Modell und seinem Nachfolger darauf, jede Softwareebene zwischen den Forschern und den GPUs selbst zu kontrollieren.

„Wir haben JAX/SGLang verworfen und den gesamten RL- und Inferenz-Stack von Grund auf in C/C++ neu geschrieben, was zusätzliche Zeit gekostet hat“, schrieb Musk auf X als Antwort auf die Frage eines Nutzers, wann Grok 4.8 zu erwarten sei. JAX ist die Python-basierte numerische Bibliothek, mit der xAI trainiert hatte; SGLang ist ein Open-Source-Framework, mit dem sich große Sprachmodelle bereitstellen lassen. Das Vortraining sei abgeschlossen, erklärte er, nachdem „bei den SFT-Daten noch viel bereinigt werden musste“ – gemeint ist der Datensatz für das überwachte Fine-Tuning. „Jetzt ist 4.8 im RL, und die Evaluierungen beginnen, bessere Werte zu zeigen.“

Diese Aussage erklärt eine Verzögerung, die Musk selbst in Gang gesetzt hatte. Mitte September stellte er das Modell als „ein mit unserem neuen C++-Software-Stack trainiertes Modell mit 2,5 Billionen Parametern“ vor, das „diese Woche das Training abschließen und mit RL beginnen“ werde. Etwa zur selben Zeit bezeichnete er die Reinforcement-Learning-Seite laut einem Bericht von Analytics India Magazine als „noch immer ein gewisses Erbe aus vielen verschiedenen Softwaresystemen von Drittanbietern“, das „zu gegebener Zeit“ behoben werden solle. Ende Oktober schrieb er dann: „Ich weiß, dass es länger dauert als erwartet, aber Grok 4.8 wird keine Enttäuschung sein.“ Die Behebung des Problems erwies sich als Ursache der Verzögerung. Der Code für das Vortraining war bereits neu; bevor das Modell weitermachen konnte, mussten auch der Teil, der ihm beibringt, wie es sich verhalten soll, und der Teil, der Nutzern antwortet, neu aufgebaut werden.

Das „C++-Rewrite“, von dem die Schlagzeilen sprechen, besteht größtenteils aus C. Auf die Frage nach der Programmiersprache antwortete Musk: „C mit ein wenig C++, aber nicht allzu viel.“ Der Stack gehe auf Software zurück, die SpaceX-Ingenieure für Starlink geschrieben hätten („Bei SpaceX schreiben wir unsere eigenen Header und berechnen unsere eigene Zeit“, fügte er hinzu). Im September sagte er außerdem, der Code für das Vortraining sei vom Starlink-Team geschrieben worden und „nicht von KI“, denn „KI ist für extrem leistungsfähige Software noch nicht gut genug (aber das wird sich ändern)“.

Die Begründung dafür ist seit dem Frühjahr öffentlich. Ende Mai sagte Musk, SpaceX habe einen unternehmenseigenen Trainings-Stack in C nahezu fertiggestellt, der sich „exakt“ auf einen Cluster aus 220.000 Nvidia-GB300-Chips abbilden lasse. Bei großen Trainingsläufen könne er gegenüber JAX eine Beschleunigung von „mehr als einer Größenordnung“ ermöglichen. Ende Juni versprach er „wirklich massive Verbesserungen“ innerhalb von etwa drei Monaten, sobald der gesamte Trainings- und Inferenz-Stack neu geschrieben sei und „die meisten Softwareebenen vollständig wegfallen würden“. Gemessen an diesem Zeitplan kam die Neuentwicklung rund sechs Wochen später als angekündigt. Keine der Geschwindigkeitsangaben wurde außerhalb des Unternehmens überprüft.

Den eigenen Stack zu kontrollieren, hat Vor- und Nachteile. Mit dem Verzicht auf JAX und SGLang macht sich xAI von den Abstraktionen und Veröffentlichungszyklen anderer unabhängig. Zugleich können die Ingenieure die Software direkt auf eine ganz bestimmte Hardware abstimmen. Der Preis dafür: Jeder Fehler in der Trainingsschleife und im Bereitstellungspfad geht nun allein zulasten von xAI – in einem Code, den vor seinem Einsatz bei Nutzern keine externe Community verwendet hat.

Musk schraubt die Erwartungen zugleich deutlich herunter. „Grok 4.8 wird 4.7 zum Glück überhaupt nicht ähneln“, schrieb er und stellte damit öffentlich das Modell infrage, das xAI am 21. September veröffentlicht hatte. „Es ist noch nicht unglaublich gut, aber diesmal ist das Fundament richtig gebaut, deshalb erwarte ich, dass es sich zu etwas Besonderem entwickelt.“ Weniger als eine Stunde später wurde er gefragt, wie 4.8 im Vergleich zu Anthropics Opus 5.5 abschneiden werde. Seine Antwort: „Nicht so gut. Opus 5.5 ist ein Meisterwerk.“ Sein eigentliches Versprechen reicht weiter in die Zukunft: „Grok 5 sollte Opus 5.5 übertreffen, und vielleicht gelingt das in zwei oder drei Monaten.“

Alles Weitere steht noch aus. Auf der Nachrichtenseite von xAI und in der Entwicklerdokumentation findet sich laut Trackern, die diese Seiten überwachen, kein Eintrag dazu; es gibt weder eine Model Card noch Benchmarks, einen Preis oder einen API-Eintrag. Die Angabe von 2,5 Billionen Parametern stammt allein von Musk, ebenso wie die Ergebnisse der Evaluierungen, die sich seinen Angaben zufolge verbessern. Der erste Rollout soll „später in dieser Woche“ für Nutzer des Grok Bot beginnen; einen konkreten Tag nannte Musk nicht. Im Oktober hatte er gesagt, die meisten dieser Anfragen würden von „einer blitzschnellen Version von Grok 4.8“ bearbeitet.

Damit wird der Rollout in dieser Woche eher zu einem Belastungstest für die Infrastruktur als für das Modell. Hält es dem tatsächlichen Anfrageaufkommen im Grok Bot stand, bildet die Neuentwicklung die Plattform, auf der Grok 5 trainiert wird. Scheitert sie, gibt es kein übergeordnetes Framework mehr, dem man die Schuld geben könnte.

Schlagwörter: Elon Musk, SpaceX, KI-Modelle, xAI, Grok