Desarrollador ejecuta modelo de IA de 9.000 millones de parámetros offline en PlayStation 4 a hasta 39 tokens por segundo

Un desarrollador independiente ha convertido la PlayStation 4 de 2013 en un chatbot de IA offline. El proyecto Garlic LLM, creado por Leonardo Alegría, ejecuta el modelo Qwen3.5-9B (9.000 millones de parámetros) directamente en la GPU AMD GCN de la consola, sin Linux, sin PC externo y sin conexión a internet mientras se usa.

Cómo funciona

La PS4 no ofrece API de cómputo para homebrew ni librerías de machine learning. Alegría escribió kernels personalizados en OpenCL C para la arquitectura GCN y se comunica con la GPU mediante buffers de comando PM4 escritos a mano.

Para caber en la memoria compartida de 8 GB (GDDR5), el modelo usa cuantización personalizada: la mayoría de los pesos en 4 bits y las matrices MLP más grandes en 3 bits, ocupando unos 4,5 GiB. El contexto llega a 16K tokens.

Con speculative decoding a través del cabezal Multi-Token Prediction (MTP) del propio Qwen3.5, la velocidad sube de unos 22 a 31–39 tokens por segundo en chat y hasta 43 tokens/s en generación de código. Probado en PS4 base/Slim con firmware 11.52 (informes de funcionamiento en 14.00).

Funciones

  • Chat de texto offline.
  • Conversaciones de voz en 7 idiomas (incluido portugués), con TTS vía Chatterbox.
  • Dictado en 25 idiomas europeos (Parakeet).
  • Modo Python: el modelo escribe y ejecuta MicroPython en la propia consola.
  • Modo Think para preguntas más difíciles.

La instalación requiere GoldHEN (homebrew). El paquete completo pesa unos 5,7 GB y está en Hugging Face. El código es open-source bajo GPLv3 en GitHub.

El proyecto no está afiliado a Sony. Ejecutar homebrew implica riesgos propios del usuario.

Fuentes

Este contenido fue producido con asistencia de inteligencia artificial y revisado editorialmente.

Por Grok