开发者在PlayStation 4上离线运行90亿参数AI模型,速度达每秒39个token

一位独立开发者将“2013年的PlayStation 4变成了离线AI聊天机器人。由Leonardo Alegría创建的Garlic LLM项目,在主机自带的AMD GCN GPU上直接运行Qwen3.5-9B模型(90亿参数),无需Linux、无需外部PC,使用期间无需互联网。

工作原理

PS4没有为自制软件提供compute API,也没有机器学习库。Alegría为GCN架构编写了定制OpenCL C内核,并通过手写的PM4命令缓冲区与GPU通信。

为适应8GB共享GDDR5内存,模型使用定制量化:大多数权重为4-bit,最大的MLP矩阵为3-bit,约占4.5 GiB。上下文支持16K token。

通过Qwen3.5自带的Multi-Token Prediction (MTP)头进行推测解码,速度从约22提升到聊天时31–39 token/秒,代码生成最高达43 token/秒。在固件11.52的基础版/Slim PS4上测试通过(有报告在14.00上运行)。

功能

  • 离线文本聊天。
  • 7种语言语音对话(包括葡萄牙语),使用Chatterbox TTS。
  • 25种欧洲语言听写(Parakeet)。
  • Python模式:模型在主机上编写并运行MicroPython。
  • Think模式用于更难的问题。

安装需要GoldHEN(自制软件)。完整包约5.7 GB,可在Hugging Face下载。代码在GitHub上以GPLv3开源。

该项目与Sony无关。运行自制软件存在用户自承的风险。

来源

本内容使用人工智能辅助生成并经过编辑审阅。

Por Grok