BESTÄTIGT: llm-d 1.0, der Open-Source-Stack für verteilte Sprachmodell-Inferenz auf Kubernetes, wurde am 20. Oktober 2026 während der PyTorch Conference in San Jose veröffentlicht. Mitgegründet von Google, Red Hat, IBM, CoreWeave und NVIDIA, vereint das Projekt mehr als 500 Mitwirkende aus 25 Organisationen und existiert als Sandbox-Projekt der Cloud Native Computing Foundation (CNCF) unter der Apache-2.0-Lizenz. Version 1.0 markiert den Übergang vom Experiment zur Produktion: stabile APIs, Produktionskontrollen und Hochverfügbarkeit des Routers.
Was llm-d 1.0 löst
Vor einem Jahr war der meiste Inferenz-Traffic Chat: ein Prompt, eine Antwort. Heute verzweigen sich mehrstufige Agenten und Reinforcement-Learning-Rollouts über Werkzeuge, teilen lange Präfixe und treffen in Schüben ein. In diesem Szenario lässt ein generischer Load-Balancer Replikas dieselben Prompts neu berechnen und füllt den Speicher der Beschleuniger mit doppeltem Zustand. llm-d 1.0 verwandelt eine Gruppe von Modellservern — vLLM und SGLang — in einen koordinierten Pool: Der Router merkt sich, welche Replik den Kontext bereits im Cache hält, und schickt jeden Agentenschritt dorthin, statt von vorn zu beginnen.
Was sich in llm-d 1.0 ändert
llm-d 1.0 fügt mandantenfähige Flusskontrolle hinzu, mit Priorität und Fairness zwischen Mandanten und kontrolliertem Abwurf unter Last; Hochverfügbarkeit des Routers mit heißem Standby; ausfallfreie Updates, bei denen Prefill und Decode von DisaggregatedSet als eine Einheit verwaltet werden; sowie sitzungsbewusstes Routing für Agenten, einschließlich nativer Unterstützung des Responses-API-Zustands. Die TPU-Integration wurde mit TorchTPU erweitert, das PyTorch-Modelle nativ in vLLM und SGLang ausführt, ohne Modelle neu zu schreiben. In der Keynote-Demo griffen 1.000 isolierte Agenten auf Agent Substrate über einen einzigen llm-d-Endpunkt auf vLLM, SGLang und eine gemischte Flotte aus Google-Cloud-TPUs und -GPUs zu.
Googles Zahlen — und was ungeprüft bleibt
Die offengelegten Zahlen stammen von Google selbst und Projektpartnern, ohne unabhängig veröffentlichte Überprüfung. Bei einer agentischen Coding-Last auf Ironwood-TPUs sollen präfixbewusstes Routing plus Host-Memory-Offload die mediane Zeit bis zum ersten Token um mehr als 85 % gesenkt und den Durchsatz gegenüber einem gewöhnlichen Kubernetes-Service um das 2,4-Fache erhöht haben. Die Gemini-Plattform habe, so Google, ihre Präfix-Cache-Trefferrate von 35 % auf 70 % verdoppelt, als sie Traffic über das GKE Inference Gateway bediente, das den llm-d-Router nutzt. IBM nennt eine Cache-Trefferrate von 98 % und 5- bis 10-mal niedrigere Kosten als proprietäre Optionen in seiner Bereitstellung. Das sind Ergebnisse der Erbauer des Werkzeugs — nützlich als Referenz, kein neutraler Beweis.
Warum das für Modellbetreiber wichtig ist
llm-d 1.0 interessiert Teams, die bereits eigene Modelle betreiben und spüren, wie die Inferenzkosten mit den Agenten steigen: Es verspricht, Engine, Modell und Cluster zu behalten und nur die benötigten Komponenten zu übernehmen, statt die Plattform zu wechseln. Snap gibt an, llm-d in seine Produktions-KI-Infrastruktur zu integrieren, und Red Hat vertreibt es über Red Hat AI Inference. Das Risiko ist das übliche bei jungen Infrastrukturprojekten: Version 1.0 stabilisiert die API, doch der wahre Test kommt mit dem Produktionseinsatz außerhalb des Ökosystems der Gründer — und mit reproduzierbaren Benchmarks, wie sie das Projekt selbst in seinem Prism-Dashboard verspricht.
Auch auf Geekiki: NVIDIA Flora verwandelt Robotervideos in Trainingslabels.
Fontes: Google Cloud Blog — llm-d 1.0, an open source stack for distributed inference; Unite.AI — llm-d 1.0 Debuts at PyTorch Conference; NeoTeo — llm-d 1.0 release: features and upgrade requirement.
Bildnachweis: Diagramm zur Entwicklung verteilter Inferenz bis hin zu llm-d 1.0, Bild aus dem Google Cloud Blog.
Transparenz: Dieser Artikel wurde mit Hilfe künstlicher Intelligenz erstellt, auf Grundlage des Abgleichs öffentlicher Quellen im Internet und öffentlicher Beiträge auf X. Die genannten Leistungsdaten stammen von Google und Projektpartnern; eine unabhängig veröffentlichte Überprüfung liegt nicht vor. Es wird empfohlen, vor jeder technischen Entscheidung die Originalquellen zur Bestätigung der Details zu konsultieren.
Muse
