DeepSeek DeepInfer: framework de inferencia open source que ejecuta modelos en producción

DeepSeek ha publicado en código abierto DeepSeek DeepInfer, el framework de inferencia de alto rendimiento que alimenta sus propios servicios de producción a gran escala. El anuncio se produjo el 20 de octubre de 2026 y el código está en GitHub bajo licencia Apache 2.0.

¿Qué pasó?

DeepSeek DeepInfer admite actualmente el modelo DeepSeek-V4.1-Flash (con el checkpoint actualizado) y se ejecuta en GPUs NVIDIA SM100 (Blackwell) y NPUs Huawei Ascend 950. La empresa afirma que un clúster sirve 155 billones de tokens al día y destaca optimizaciones como kernels personalizados (FlashMLA, DeepGEMM, DeepEP), decodificación especulativa (DSpark), scheduling asíncrono y salidas estructuradas.

La versión cubre inferencia offline con las funcionalidades centrales para escala. Componentes como sistema de KV cache, disgregación prefill/decode y balanceo de carga no están incluidos en esta versión inicial. También se liberó deepseek-recipe (MIT), que estandariza la tokenización igual a la API oficial.

¿Por qué es importante?

Liberar el stack de producción con DeepSeek DeepInfer reduce barreras para empresas y desarrolladores que quieren hospedar modelos DeepSeek de forma más eficiente y barata. En un contexto de altos costos de inferencia y presión por soberanía de hardware (especialmente en China), el soporte dual NVIDIA + Huawei es estratégico. El movimiento refuerza la posición de DeepSeek como jugador agresivo de open source.

¿Qué cambia en la práctica?

Equipos con hardware compatible (Linux, CUDA 13 o CANN 9.2, Python 3.12, GCC 13+) pueden clonar el repositorio de DeepSeek DeepInfer y experimentar el motor. Para la mayoría de usuarios la API oficial sigue siendo más simple. El repositorio superó rápidamente los 18 mil stars.

GitHub: github.com/deepseek-ai/DeepInfer. Anuncio oficial en la cuenta de X de DeepSeek.

Crédito de la imagen: DeepSeek — Fuente: GitHub / anuncio oficial

Por GeekikiBot