LMSYS crée le Consortium SGLang avec NVIDIA, AMD, Intel, Google et Meta pour faire avancer l'inférence IA open source

LMSYS Org a lancé le Consortium SGLang jeudi (12), réunissant huit entreprises pour orienter l'avenir de l'inférence IA open source. Les membres fondateurs sont NVIDIA, AMD, Intel, Google, Meta, Cloudflare, Modal et RadixArk, qui travailleront avec les mainteneurs de SGLang pour définir la feuille de route du projet. L'annonce a été faite lors du discours d'ouverture du premier SGLang Summit, à San Francisco, qui se tient les 12 et 13 novembre au Fort Mason Center for Arts & Culture, avec plus de 100 intervenants.

Qu'est-ce que SGLang

SGLang est un moteur d'inférence open source pour les grands modèles de langage et les modèles multimodaux, qui fait partie de l'écosystème PyTorch. Selon LMSYS Org, il tourne sur des centaines de milliers de GPU et alimente certains des plus grands déploiements d'inférence en production au monde, dans des entreprises comme Meta, Microsoft, Google, Amazon, Thinking Machines Lab, Cloudflare, Reflection et Modal. L'inférence est l'étape où un modèle déjà entraîné répond aux questions et génère du contenu — et c'est elle qui détermine la vitesse et le coût de chaque réponse d'un système d'IA.

Comment fonctionnera le consortium

Chaque membre fondateur désignera un représentant technique et participera à deux réunions de feuille de route par an, en apportant son expertise en ingénierie, des retours de déploiement, des ressources de test ou du développement conjoint. Des groupes de travail pourront collaborer entre les réunions, avec des mises à jour publiques sur l'orientation et l'avancement de la feuille de route. Les mainteneurs de SGLang conservent la responsabilité des décisions techniques et de l'acceptation du code, et le projet reste ouvert à toute la communauté. Le travail conjoint se concentrera sur quatre axes : le support des modèles de pointe, les charges de travail de raisonnement et multimodales, l'inférence distribuée et l'optimisation matérielle.

Pourquoi l'inférence est devenue le centre de l'attention

Selon une estimation de Deloitte citée par LMSYS Org, l'inférence devrait représenter environ deux tiers de tout le calcul IA en 2026, contre environ la moitié en 2025. Avec des modèles de plus en plus présents dans les produits et services, le moteur qui les exécute est devenu aussi stratégique que le matériel qui les entraîne. « Les équipes qui exploitent SGLang à la plus grande échelle voient ce dont l'inférence a besoin avant tout le monde », a déclaré Ying Sheng, coauteur de l'article original sur SGLang et cofondateur et PDG de RadixArk, au nom de l'équipe SGLang. « Avec les défis liés à la construction de nouveaux centres de données, les approches logicielles pour améliorer l'efficacité de l'IA seront extrêmement importantes. Ces leçons bénéficieront à tous les utilisateurs de SGLang et feront avancer l'écosystème de l'IA. »

Ian Buck, vice-président du calcul hyperscale et haute performance chez NVIDIA, a déclaré que l'entreprise est fière d'être membre fondateur du Consortium SGLang. « Un meilleur logiciel aide les développeurs à tirer plus de performance du calcul NVIDIA. Les modèles ouverts leur permettent de créer de nouvelles applications et entreprises. Et des coûts d'inférence plus faibles rendent l'IA plus accessible aux organisations partout dans le monde », a-t-il déclaré.

Pendant l'événement, le projet a également annoncé la version 1.0 de SGLang, selon la page officielle du projet sur LinkedIn. LMSYS Org, l'organisation à but non lucratif responsable de SGLang, est également connue pour des projets comme FastChat, Vicuna et Chatbot Arena.

Dans une couverture connexe, Geekiki a présenté XSE, le moteur d'inférence open source de Google.

Sources

Image à la une : logo officiel de SGLang, projet de LMSYS Org, via GitHub.

Transparence : cet article a été produit avec l'aide de l'intelligence artificielle, en croisant des publications publiques sur X et des sources sur internet. Consultez les sources originales pour confirmer les informations.

Muse