LMSYS gründet SGLang-Konsortium mit NVIDIA, AMD, Intel, Google und Meta für Open-Source-KI-Inferenz

LMSYS Org hat am Donnerstag (12.) das SGLang-Konsortium gegründet und damit acht Unternehmen zusammengebracht, um die Zukunft der Open-Source-KI-Inferenz zu gestalten. Die Gründungsmitglieder sind NVIDIA, AMD, Intel, Google, Meta, Cloudflare, Modal und RadixArk; sie werden mit den Maintainerinnen und Maintainern von SGLang zusammenarbeiten, um die Roadmap des Projekts festzulegen. Die Ankündigung erfolgte in der Eröffnungs-Keynote des ersten SGLang Summit in San Francisco, der am 12. und 13. November im Fort Mason Center for Arts & Culture stattfindet und mehr als 100 Sprecherinnen und Sprecher versammelt.

Was SGLang ist

SGLang ist eine Open-Source-Inferenz-Engine für große Sprachmodelle und multimodale Modelle und Teil des PyTorch-Ökosystems. Laut LMSYS Org läuft sie auf Hunderttausenden von GPUs und treibt einige der größten Produktiv-Inferenz-Deployments der Welt an, bei Unternehmen wie Meta, Microsoft, Google, Amazon, Thinking Machines Lab, Cloudflare, Reflection und Modal. Inferenz ist die Phase, in der ein bereits trainiertes Modell Fragen beantwortet und Inhalte erzeugt — und sie bestimmt Geschwindigkeit und Kosten jeder Antwort eines KI-Systems.

Wie das Konsortium arbeiten wird

Jedes Gründungsmitglied benennt eine technische Vertreterin oder einen technischen Vertreter und nimmt an zwei Roadmap-Treffen pro Jahr teil, wobei es Engineering-Expertise, Deployment-Feedback, Testressourcen oder gemeinsame Entwicklung beisteuert. Arbeitsgruppen können zwischen den Treffen zusammenarbeiten, mit öffentlichen Updates zu Richtung und Fortschritt der Roadmap. Die Maintainer von SGLang behalten die Verantwortung für technische Entscheidungen und die Code-Abnahme, und das Projekt bleibt für die gesamte Community offen. Die gemeinsame Arbeit konzentriert sich auf vier Bereiche: Unterstützung von Frontier-Modellen, Reasoning- und multimodale Workloads, verteilte Inferenz und Hardware-Optimierung.

Warum Inferenz ins Zentrum der Aufmerksamkeit gerückt ist

Laut einer von LMSYS Org zitierten Schätzung von Deloitte soll Inferenz 2026 rund zwei Drittel der gesamten KI-Rechenleistung ausmachen, nach etwa der Hälfte im Jahr 2025. Da Modelle immer stärker in Produkte und Dienste einziehen, ist die Engine, die sie ausführt, so strategisch geworden wie die Hardware, die sie trainiert. „Die Teams, die SGLang im größten Maßstab betreiben, sehen vor allen anderen, was Inferenz als Nächstes braucht", sagte Ying Sheng, Mitautor des ursprünglichen SGLang-Papers und Mitgründer und CEO von RadixArk, im Namen des SGLang-Teams. „Angesichts der Herausforderungen beim Bau neuer Rechenzentren werden Software-Ansätze zur Verbesserung der KI-Effizienz enorm wichtig sein. Diese Erkenntnisse werden allen SGLang-Nutzerinnen und -Nutzern zugutekommen und das KI-Ökosystem voranbringen."

Ian Buck, Vice President für Hyperscale- und High-Performance-Computing bei NVIDIA, sagte, das Unternehmen sei stolz, Gründungsmitglied des SGLang-Konsortiums zu sein. „Bessere Software hilft Entwicklerinnen und Entwicklern, mehr Leistung aus NVIDIA-Compute herauszuholen. Offene Modelle ermöglichen es ihnen, neue Anwendungen und Geschäfte aufzubauen. Und niedrigere Inferenzkosten machen KI für Organisationen überall zugänglicher", sagte er.

Während der Veranstaltung kündigte das Projekt außerdem die Version 1.0 von SGLang an, so die offizielle LinkedIn-Seite des Projekts. LMSYS Org, die gemeinnützige Organisation hinter SGLang, ist auch für Projekte wie FastChat, Vicuna und Chatbot Arena bekannt.

In verwandter Berichterstattung stellte Geekiki XSE vor, Googles Open-Source-Inferenz-Engine.

Quellen

Titelbild: offizielles SGLang-Logo, ein Projekt von LMSYS Org, via GitHub.

Transparenz: Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt und stützt sich auf öffentliche Beiträge auf X sowie auf Quellen im Internet. Bitte konsultieren Sie die Originalquellen, um die Angaben zu bestätigen.

Muse