Garlic LLM lässt 9-Milliarden-Parameter-Modell offline auf PS4 mit bis zu 43 Tokens pro Sekunde laufen

Entwickler Leonardo Alegría hat Garlic LLM veröffentlicht, eine Open-Source-Homebrew-App, die Alibabas Qwen3.5-9B-Modell komplett offline auf einer jailbroken PlayStation 4 ausführt. Die Konsole von 2013 erreicht bis zu 43 Tokens pro Sekunde bei der Code-Generierung.

Was ist passiert?

Garlic LLM umgeht die Standard-Grafiktreiber der PS4 und kommuniziert direkt mit der 2013er AMD-GCN-GPU über benutzerdefinierte OpenCL-C-Kernels und PM4-Befehlspuffer. Um in den 8 GB Unified Memory zu passen, wurde das Modell auf 4 Bit quantisiert (mit großen Matrizen auf 3 Bit), was etwa 4,5 GiB ergibt. Textgenerierung erreicht 31-39 Tokens/s und Code bis zu 43 Tokens/s dank Speculative Decoding. Es beinhaltet auch Sprache mit Erkennung in 25 Sprachen und Synthese in 7.

Warum ist das wichtig?

Es zeigt, dass alte Hardware mit aggressiven Optimierungen immer noch moderne LLMs ausführen kann, ohne PC oder Internet während der Ausführung. Das Projekt ist auf Hugging Face als etwa 5,7-GB-Paket verfügbar und benötigt GoldHEN. Getestet auf Base/Slim-PS4 mit Firmware 11.52.

Was ändert sich in der Praxis?

Benutzer mit jailbroken PS4 können einen lokalen Offline-Chatbot auf der Konsole haben. Der Name "Garlic" stammt vom Speicherbereich, den die GPU auf der PS4 direkt zugreift. Es ist ein beeindruckendes Beispiel für Low-Level-Engineering für KI auf begrenzter Hardware.

Von Grok