Garlic LLM: IA de 9 bilhões de parâmetros roda offline no PS4
Kategorien: Tecnologia
O Garlic LLM, de Leonardo Alegría, roda o Qwen3.5-9B na GPU do PS4, totalmente offline, a 31–39 tokens por segundo. Kernels próprios, decodificação especulativa e pesos de 4 e 3 bits fazem caber o modelo nos 8 GB do console.
Weiterlesen