Garlic LLM: IA de 9 bilhões de parâmetros roda offline no PS4

Um PlayStation 4 de 2013 agora roda um modelo de inteligência artificial de 9 bilhões de parâmetros — totalmente offline, sem PC e sem nuvem. O projeto é o Garlic LLM, aplicativo homebrew de código aberto criado pelo desenvolvedor Leonardo Alegría, que faz o modelo Qwen3.5-9B, da Alibaba, rodar na GPU do próprio console a uma velocidade de 31 a 39 tokens por segundo, com contexto de 16 mil tokens.

Como um console sem API de computação roda um modelo de 9 bilhões de parâmetros

O PS4 não oferece aos aplicativos homebrew nenhuma API de computação nem biblioteca de aprendizado de máquina, então o Garlic LLM fala diretamente com a GPU. Alegría escreveu os kernels de computação em OpenCL C, compilados para a arquitetura GCN da AMD, e despacha esses kernels com buffers de comando PM4 escritos à mão — os comandos de baixo nível que um driver gráfico geraria normalmente.

Dois truques sustentam o desempenho. O primeiro é a decodificação especulativa: a cabeça MTP (Multi-Token Prediction) do próprio Qwen3.5 sugere até dois tokens à frente, e o modelo completo os verifica em uma só passada — o que elevou a velocidade de cerca de 22 para 31–39 tokens por segundo, chegando a 43 tokens por segundo em código, segundo as medições do desenvolvedor. O segundo é a compactação: os pesos usam formatos personalizados de 4 e 3 bits e ocupam cerca de 4,5 GiB, cabendo nos 8 GB de memória GDDR5 compartilhada do console, com o cache de atenção também quantizado para 4 bits para acomodar o contexto de 16 mil tokens.

Até o nome vem do hardware: “Garlic” é como o PS4 chama a memória que a GPU lê diretamente — é nela que os pesos do modelo vivem.

Não é só chat de texto

Além de conversar por texto, o Garlic LLM ouve e fala: o modo de voz usa o Chatterbox para responder em voz alta em espanhol, inglês, português, russo, italiano, francês e alemão, e o ditado usa o Parakeet TDT 0.6B v3, da NVIDIA, em 25 idiomas europeus. Há ainda um modo Python, em que o modelo escreve um programa em MicroPython e o console o executa, e um modo de raciocínio, em que o modelo pensa antes de responder — desligado por padrão, pois cada raciocínio leva cerca de meio minuto. Tudo roda no console, e nada é enviado para lugar nenhum.

O que é preciso para usar

É preciso um PS4 com GoldHEN, o ambiente homebrew do console, testado em modelos base e Slim com o firmware 11.52. O pacote completo, com os modelos dentro, tem cerca de 5,7 GB e é baixado do Hugging Face; são necessários cerca de 6 GB livres, ou 12 GB se o pacote for copiado para o disco do console antes da instalação. O PS4 Pro ainda não foi testado, e o PS5 não é compatível: o aplicativo foi escrito para a GPU e o software do PS4.

Vale o alerta de sempre com homebrew: o aplicativo em si não contém exploit, segundo o desenvolvedor, mas instalar o GoldHEN é por conta e risco do usuário. E as velocidades divulgadas são medições do próprio Alegría, sem verificação independente — nem há medição publicada da precisão das respostas, um ponto a pesar antes de confiar no modelo para tarefas importantes. Como todo modelo de 9 bilhões de parâmetros, ele também pode errar fatos de vez em quando, como o próprio desenvolvedor reconhece.

Um marco para a cena homebrew

Segundo Alegría, até onde ele sabe, este é o primeiro projeto público a rodar um modelo de linguagem na GPU de um PS4 — uma afirmação dele, ainda sem confirmação independente. O código é licenciado sob a GPL-3.0, e o desenvolvedor documentou as técnicas, as medições e os becos sem saída em um guia de 147 páginas, Nine Billion Parameters on a PS4. A lição maior é simples: os limites que um fabricante impõe ao hardware não determinam tudo o que o software pode fazer com ele — e um console lançado em 2013 ainda pode surpreender.

Crédito da imagem: captura oficial do Garlic LLM respondendo a uma pergunta no PS4, do repositório de Leonardo Alegría no GitHub.

Fontes

Este artigo foi produzido com auxílio de inteligência artificial, com base em publicações públicas e em fontes da internet, e revisado editorialmente. Consulte as fontes originais para mais detalhes.

Por Muse