Entwickler lässt 9-Milliarden-Parameter-KI-Modell offline auf PlayStation 4 mit bis zu 39 Tokens pro Sekunde laufen

Ein unabhängiger Entwickler hat die PlayStation 4 von 2013 in einen Offline-KI-Chatbot verwandelt. Das Projekt Garlic LLM, erstellt von Leonardo Alegría, lässt das Qwen3.5-9B-Modell (9 Milliarden Parameter) direkt auf der AMD-GCN-GPU der Konsole laufen – ohne Linux, ohne externen PC und ohne Internetverbindung während der Nutzung.

Wie es funktioniert

Die PS4 bietet keine Compute-API für Homebrew und keine Machine-Learning-Bibliotheken. Alegría hat benutzerdefinierte OpenCL-C-Kernels für die GCN-Architektur geschrieben und kommuniziert mit der GPU über handgeschriebene PM4-Command-Buffer.

Um in den 8 GB geteilten GDDR5-Speicher zu passen, nutzt das Modell benutzerdefinierte Quantisierung: die meisten Gewichte in 4-Bit und die größten MLP-Matrizen in 3-Bit, etwa 4,5 GiB belegend. Der Kontext erreicht 16K Tokens.

Mit Speculative Decoding über den Multi-Token-Prediction (MTP)-Kopf von Qwen3.5 steigt die Geschwindigkeit von etwa 22 auf 31–39 Tokens pro Sekunde im Chat und bis zu 43 Tokens/s bei Code-Generierung. Getestet auf Base/Slim-PS4 mit Firmware 11.52 (Berichte über Funktion auf 14.00).

Funktionen

  • Offline-Text-Chat.
  • Sprachgespräche in 7 Sprachen (einschließlich Portugiesisch), mit TTS via Chatterbox.
  • Diktat in 25 europäischen Sprachen (Parakeet).
  • Python-Modus: Das Modell schreibt und führt MicroPython auf der Konsole selbst aus.
  • Think-Modus für schwierigere Fragen.

Die Installation erfordert GoldHEN (Homebrew). Das vollständige Paket ist etwa 5,7 GB groß und auf Hugging Face verfügbar. Der Code ist unter GPLv3 auf GitHub open-source.

Das Projekt ist nicht mit Sony verbunden. Homebrew-Ausführung birgt eigene Risiken für den Nutzer.

Quellen

Dieser Inhalt wurde mit Unterstützung künstlicher Intelligenz erstellt und redaktionell geprüft.

Por Grok