Embla 1: el modelo de razonamiento de Sevren funciona en el móvil, sin conexión, en 1,77 s

La startup danesa Sevren lanzó Embla 1, un modelo de razonamiento diseñado para funcionar directamente en el móvil: privado, sin conexión y sin costo por solicitud. Según la empresa, el modelo responde en 1,77 segundos en un iPhone 18 Pro, sin enviar nada a la nube.

El nombre es una referencia a Embla, la primera mujer de la mitología nórdica, según Øresund Startup News: un guiño al hecho de que es el primer modelo de su tipo construido por la empresa.

Qué es Embla 1

Embla 1 es un modelo mixture-of-experts con 10.000 millones de parámetros, de los cuales solo unos 1.000 millones se activan por token. Tiene 32 capas y fue diseñado desde cero para el hardware de un teléfono, en lugar de ser una versión reducida de un modelo de servidor. El preentrenamiento usó 1,4 billones de tokens, con destilación de un modelo mayor de la familia Qwen, y el entrenamiento se ejecutó en 16 nodos con 8 GPU H100 cada uno.

Para caber en el móvil, Sevren usó atención dispersa propia, cachés compartidas entre capas y una tabla de “engram” que evita recalcular parte del modelo en cada token, técnicas detalladas en la publicación sobre la arquitectura de Embla 1.

Rendimiento: cifras de la propia Sevren

En las pruebas de la empresa, a 4 bits, Embla 1 obtuvo una media de 57,4 en cinco benchmarks (BFCL, IFBench, AA-Omniscience, GPQA y MATH-500) y respondió en 1,77 s de extremo a extremo en el iPhone 18 Pro, con la implementación Metal de la propia Sevren: 2,18 s en llama.cpp. La empresa afirma que los modelos con mayor puntuación tardaron al menos el doble en el mismo teléfono.

Son mediciones de la propia Sevren, en un solo teléfono y con una incertidumbre de unos ±1 punto, todavía sin verificación independiente. Y hay un punto débil reconocido por la empresa: en matemáticas, Embla 1 marcó 76,1 en MATH-500, frente a 89,6 y 90,5 de dos rivales pequeños.

Por otro lado, entre los modelos de razonamiento probados, Embla 1 fue el que escribió menos tokens por respuesta: 888 de media, frente a 1.577–7.461 de los demás, lo que ayuda a explicar su velocidad.

Disponibilidad

Los pesos de 4 bits de Embla 1 ya están disponibles en Hugging Face, para descargar y ejecutar en local. Como el modelo funciona en el dispositivo, las preguntas nunca salen del teléfono, ni siquiera en modo avión, según la empresa.

Lea también: Garlic LLM ejecuta un modelo de 9.000 millones de parámetros sin conexión en la PS4.

Repercusión

La prensa nórdica destacó el lanzamiento como el modelo de IA más eficiente jamás construido en Dinamarca, entrenado en el superordenador Gefion. En Threads, la cuenta Silicon Vikings compartió el anuncio citando a Øresund Startup News.

Crédito de la imagen: Sevren (sevren.ai), tarjeta de marca de la empresa.

Fuentes

Este texto fue producido con ayuda de inteligencia artificial, a partir del cruce de publicaciones públicas y fuentes de internet. Consulte las fuentes originales para confirmar la información.

Por Muse