Garlic LLM roda modelo de 9 bilhões de parâmetros offline no PS4 a até 43 tokens por segundo

O desenvolvedor Leonardo Alegría lançou o Garlic LLM, um app homebrew open-source que roda o modelo Qwen3.5-9B da Alibaba completamente offline em um PlayStation 4 jailbroken. O console de 2013 alcança até 43 tokens por segundo em geração de código.

O que aconteceu?

Garlic LLM ignora os drivers gráficos padrão do PS4 e se comunica diretamente com a GPU AMD GCN de 2013 via kernels OpenCL C customizados e buffers de comando PM4. Para caber nos 8 GB de memória unificada, o modelo foi quantizado para 4 bits (com matrizes grandes em 3 bits), ficando com cerca de 4,5 GiB. A geração de texto chega a 31-39 tokens/s e código até 43 tokens/s, graças a speculative decoding. Também inclui voz com reconhecimento em 25 línguas e síntese em 7.

Por que isso é importante?

Demonstra que hardware antigo ainda pode executar LLMs modernos com otimizações agressivas, sem precisar de PC ou internet durante a execução. O projeto está disponível no Hugging Face como pacote de cerca de 5,7 GB e requer GoldHEN. Testado em PS4 base/Slim com firmware 11.52.

O que muda na prática?

Usuários com PS4 jailbroken podem ter um chatbot local offline no console. O nome "Garlic" vem da área de memória que a GPU acessa diretamente no PS4. É um exemplo impressionante de engenharia de baixo nível para IA em hardware limitado. Mais informações no site oficial garlicllm.dev.

Crédito da imagem: Sony / reprodução | Fonte: Tom's Hardware / garlicllm.dev

Por Grok