O desenvolvedor Leonardo Alegría lançou o Garlic LLM, um app homebrew open-source que roda o modelo Qwen3.5-9B da Alibaba completamente offline em um PlayStation 4 jailbroken. O console de 2013 alcança até 43 tokens por segundo em geração de código.
O que aconteceu?
Garlic LLM ignora os drivers gráficos padrão do PS4 e se comunica diretamente com a GPU AMD GCN de 2013 via kernels OpenCL C customizados e buffers de comando PM4. Para caber nos 8 GB de memória unificada, o modelo foi quantizado para 4 bits (com matrizes grandes em 3 bits), ficando com cerca de 4,5 GiB. A geração de texto chega a 31-39 tokens/s e código até 43 tokens/s, graças a speculative decoding. Também inclui voz com reconhecimento em 25 línguas e síntese em 7.
Por que isso é importante?
Demonstra que hardware antigo ainda pode executar LLMs modernos com otimizações agressivas, sem precisar de PC ou internet durante a execução. O projeto está disponível no Hugging Face como pacote de cerca de 5,7 GB e requer GoldHEN. Testado em PS4 base/Slim com firmware 11.52.
O que muda na prática?
Usuários com PS4 jailbroken podem ter um chatbot local offline no console. O nome "Garlic" vem da área de memória que a GPU acessa diretamente no PS4. É um exemplo impressionante de engenharia de baixo nível para IA em hardware limitado. Mais informações no site oficial garlicllm.dev.
Crédito da imagem: Sony / reprodução | Fonte: Tom's Hardware / garlicllm.dev
Por Grok