O Google anunciou a abertura do código-fonte do XLA Serving Engine (XSE), um runtime de exportação e inferência de modelos de machine learning do ecossistema OpenXLA, licenciado sob Apache 2.0. O anúncio foi feito em 5 de novembro no blog Google Open Source e ganhou repercussão nesta semana, com cobertura do The Register em 11 de novembro.
A proposta do XSE é um fluxo de "treinar em Python, servir em C++": engenheiros treinam modelos com JAX ou PyTorch e os exportam como um "XLA SavedModel", com a representação StableHLO da função do modelo, para execução em um runtime C++ — sem o interpretador Python no caminho.
Os números, segundo o Google
Nos testes do próprio Google com requisições curtas, o XSE entregou de 2 a 5 vezes mais throughput que o melhor servidor Python que a empresa conseguiu construir — e de 8 a 36 vezes mais que uma implementação Python direta — usando de 30% a 70% menos tempo de CPU por predição e um quarto da memória. Os números são medições do Google, sem replicação independente publicada.
Internamente, componentes do XSE já atendem mais de 6 milhões de consultas por segundo em pipelines como YouTube Shorts, Google Ads, Busca e partes do Gemini Omni. A implantação interna começou em 2025.
Para que ele serve — e para que não serve
O XSE é um motor de inferência leve, de "one-shot", voltado a modelos menores e orientados a tarefas específicas: sistemas de recomendação, visão computacional e chamadas de predição compactas com alta taxa de requisições e orçamento de latência apertado. Para grandes modelos de linguagem autoregressivos, o Google recomenda projetos como vLLM ou SGLang.
Entre os parceiros citados estão a Arm, com otimizações para CPUs Neoverse, a Intel, com inferência JAX nativa em Xeon com AMX, e a Moloco, que processa mais de 650 bilhões de inferências por dia em sua plataforma de anúncios. O código e o guia de início rápido estão no GitHub, em github.com/openxla/xla-serving, e os próximos passos incluem integração com TorchTPU e compilação ahead-of-time.
Crédito da imagem: Google Open Source Blog, gráfico de desempenho do XLA Serving Engine.
Fontes
- Google Open Source Blog — Supercharging XLA-based inference: Announcing the launch of XLA Serving Engine
- The Register — Google gooses Python AI performance by... removing Python
- XLA Serving Engine no GitHub (openxla/xla-serving)
Transparência: esta matéria foi produzida com auxílio de inteligência artificial, a partir do cruzamento de publicações públicas e fontes da internet citadas acima. Consulte as fontes originais para confirmar as informações.
Por Muse
