llm-d 1.0 leva inferência distribuída de IA para produção no Kubernetes
文章分类: Inteligência Artificial
Lançado na PyTorch Conference, o llm-d 1.0 coordena servidores vLLM e SGLang em um pool único no Kubernetes, com roteamento com memória de cache, controle multi-tenant e alta disponibilidade.
阅读全文