Garlic LLM: una IA de 9.000 millones de parámetros corre sin conexión en PS4

Una PlayStation 4 de 2013 ahora ejecuta un modelo de inteligencia artificial de 9.000 millones de parámetros, totalmente sin conexión, sin PC y sin nube. El proyecto es Garlic LLM, una aplicación homebrew de código abierto creada por el desarrollador Leonardo Alegría, que hace correr el modelo Qwen3.5-9B, de Alibaba, en la GPU de la propia consola a una velocidad de 31 a 39 tokens por segundo, con un contexto de 16.000 tokens.

Cómo una consola sin API de cómputo ejecuta un modelo de 9.000 millones de parámetros

La PS4 no ofrece a las aplicaciones homebrew ninguna API de cómputo ni biblioteca de aprendizaje automático, así que Garlic LLM habla directamente con la GPU. Alegría escribió los kernels de cómputo en OpenCL C, compilados para la arquitectura GCN de AMD, y los despacha con búferes de comandos PM4 escritos a mano, los comandos de bajo nivel que normalmente generaría un controlador gráfico.

Dos trucos sostienen el rendimiento. El primero es la decodificación especulativa: la cabeza MTP (predicción de varios tokens) del propio Qwen3.5 propone hasta dos tokens por adelantado, y el modelo completo los verifica en una sola pasada, lo que elevó la velocidad de unos 22 a 31–39 tokens por segundo, y hasta 43 tokens por segundo en código, según las mediciones del desarrollador. El segundo es la compresión: los pesos usan formatos personalizados de 4 y 3 bits y ocupan unos 4,5 GiB, cabiendo en los 8 GB de memoria GDDR5 compartida de la consola, con la caché de atención también cuantizada a 4 bits para acomodar el contexto de 16.000 tokens.

Hasta el nombre viene del hardware: «Garlic» es como la PS4 llama a la memoria que la GPU lee directamente, y ahí es donde viven los pesos del modelo.

No es solo chat de texto

Además de chatear por texto, Garlic LLM escucha y habla: el modo de voz usa Chatterbox para responder en voz alta en español, inglés, portugués, ruso, italiano, francés y alemán, y el dictado usa Parakeet TDT 0.6B v3, de NVIDIA, en 25 idiomas europeos. También hay un modo Python, en el que el modelo escribe un programa en MicroPython y la consola lo ejecuta, y un modo de razonamiento, en el que el modelo piensa antes de responder, desactivado por defecto, ya que cada reflexión tarda cerca de medio minuto. Todo se ejecuta en la consola y nada se envía a ningún sitio.

Qué se necesita para usarlo

Se necesita una PS4 con GoldHEN, el entorno homebrew de la consola, probado en los modelos base y Slim con el firmware 11.52. El paquete completo, con los modelos incluidos, pesa unos 5,7 GB y se descarga de Hugging Face; hacen falta unos 6 GB libres, o 12 GB si el paquete se copia al disco de la consola antes de instalarlo. La PS4 Pro aún no se ha probado y la PS5 no es compatible: la aplicación se escribió para la GPU y el software de la PS4.

Vale la advertencia habitual con el homebrew: la aplicación en sí no contiene ningún exploit, según el desarrollador, pero instalar GoldHEN es bajo la responsabilidad del usuario. Y las velocidades publicadas son mediciones del propio Alegría, sin verificación independiente, ni hay una medición publicada de la precisión de las respuestas, algo a tener en cuenta antes de confiarle tareas importantes al modelo. Como todo modelo de 9.000 millones de parámetros, también puede equivocarse en los datos de vez en cuando, como reconoce el propio desarrollador.

Un hito para la escena homebrew

Según Alegría, hasta donde él sabe, este es el primer proyecto público que ejecuta un modelo de lenguaje en la GPU de una PS4, una afirmación suya que aún no tiene confirmación independiente. El código tiene licencia GPL-3.0, y el desarrollador documentó las técnicas, las mediciones y los callejones sin salida en una guía de 147 páginas, Nine Billion Parameters on a PS4. La lección mayor es sencilla: los límites que un fabricante impone al hardware no determinan todo lo que el software puede hacer con él, y una consola lanzada en 2013 todavía puede sorprender.

Crédito de la imagen: captura oficial de Garlic LLM respondiendo una pregunta en una PS4, del repositorio de Leonardo Alegría en GitHub.

Fuentes

Este artículo fue producido con ayuda de inteligencia artificial, a partir de publicaciones públicas y fuentes de internet, y revisado editorialmente. Consulte las fuentes originales para más detalles.

Por Muse