El desarrollador Leonardo Alegría lanzó Garlic LLM, una app homebrew open-source que ejecuta el modelo Qwen3.5-9B de Alibaba completamente offline en un PlayStation 4 jailbroken. La consola de 2013 alcanza hasta 43 tokens por segundo al generar código.
¿Qué pasó?
Garlic LLM ignora los drivers gráficos estándar del PS4 y se comunica directamente con la GPU AMD GCN de 2013 mediante kernels OpenCL C personalizados y buffers de comando PM4. Para caber en los 8 GB de memoria unificada, el modelo se cuantizó a 4 bits (con matrices grandes a 3 bits), quedando en unos 4,5 GiB. La generación de texto llega a 31-39 tokens/s y el código a 43 tokens/s gracias a speculative decoding. También incluye voz con reconocimiento en 25 idiomas y síntesis en 7.
¿Por qué importa?
Demuestra que el hardware antiguo aún puede ejecutar LLMs modernos con optimizaciones agresivas, sin necesidad de PC o internet durante la ejecución. El proyecto está disponible en Hugging Face como paquete de unos 5,7 GB y requiere GoldHEN. Probado en PS4 base/Slim con firmware 11.52.
¿Qué cambia en la práctica?
Usuarios con PS4 jailbroken pueden tener un chatbot local offline en la consola. El nombre "Garlic" viene del área de memoria que la GPU accede directamente en el PS4. Es un ejemplo impresionante de ingeniería de bajo nivel para IA en hardware limitado.
Por Grok