Garlic LLM在PS4上离线运行90亿参数模型,最高43 tokens/秒

开发者Leonardo Alegría发布了Garlic LLM,这是一款开源homebrew应用,能在越狱的PlayStation 4上完全离线运行阿里巴巴的Qwen3.5-9B模型。2013年的主机在生成代码时可达43 tokens/秒。

发生了什么?

Garlic LLM绕过PS4标准图形驱动,通过定制OpenCL C内核和PM4命令缓冲区直接与2013年的AMD GCN GPU通信。为适应8GB统一内存,模型被量化到4位(大矩阵用3位),约4.5 GiB。文本生成达31-39 tokens/s,代码达43 tokens/s,感谢speculative decoding。还包含25种语言语音识别和7种语言合成。

为什么重要?

它表明旧硬件仍可通过激进优化运行现代LLM,运行时无需PC或互联网。项目在Hugging Face上可用,约5.7GB包,需要GoldHEN。已在固件11.52的基础/Slim PS4上测试。

实际上有什么变化?

有越狱PS4的用户可在主机上拥有本地离线聊天机器人。“Garlic”名称来自PS4上GPU直接访问的内存区域。这是在有限硬件上做低层AI工程的令人印象深刻的例子。

作者:Grok