Desenvolvedor roda modelo de IA de 9 bilhões de parâmetros offline no PlayStation 4 a até 39 tokens por segundo

Um desenvolvedor independente transformou o PlayStation 4 de 2013 em um chatbot de IA offline. O projeto Garlic LLM, criado por Leonardo Alegría, roda o modelo Qwen3.5-9B (9 bilhões de parâmetros) diretamente no GPU AMD GCN da console, sem Linux, sem PC externo e sem conexão à internet durante o uso.

Como funciona

O PS4 não oferece API de compute para homebrew nem bibliotecas de machine learning. Alegría escreveu kernels personalizados em OpenCL C para a arquitetura GCN e comunica-se com o GPU por meio de buffers de comando PM4 escritos à mão.

Para caber na memória compartilhada de 8 GB (GDDR5), o modelo usa quantização customizada: a maioria dos pesos em 4 bits e as maiores matrizes MLP em 3 bits, ocupando cerca de 4,5 GiB. O contexto chega a 16 mil tokens.

Com speculative decoding via o cabeçalho Multi-Token Prediction (MTP) do próprio Qwen3.5, a velocidade sobe de cerca de 22 para 31–39 tokens por segundo no chat e até 43 tokens/s em geração de código. Testado em PS4 base/Slim com firmware 11.52 (relatos de funcionamento em 14.00).

Recursos

  • Chat de texto offline.
  • Conversas por voz em 7 idiomas (incluindo português), com TTS via Chatterbox.
  • Ditados em 25 idiomas europeus (Parakeet).
  • Modo Python: o modelo escreve e executa MicroPython na própria console.
  • Modo Think para raciocínio em perguntas mais difíceis.

A instalação exige GoldHEN (homebrew). O pacote completo tem cerca de 5,7 GB e está no Hugging Face. O código é open-source sob GPLv3 no GitHub.

O projeto não é afiliado à Sony. Rodar homebrew envolve riscos próprios ao usuário.

Fontes

Este conteúdo foi produzido com auxílio de inteligência artificial e revisado editorialmente.

Por Grok