Ein unabhängiger Entwickler hat die PlayStation 4 von 2013 in einen Offline-KI-Chatbot verwandelt. Das Projekt Garlic LLM, erstellt von Leonardo Alegría, lässt das Qwen3.5-9B-Modell (9 Milliarden Parameter) direkt auf der AMD-GCN-GPU der Konsole laufen – ohne Linux, ohne externen PC und ohne Internetverbindung während der Nutzung.
Wie es funktioniert
Die PS4 bietet keine Compute-API für Homebrew und keine Machine-Learning-Bibliotheken. Alegría hat benutzerdefinierte OpenCL-C-Kernels für die GCN-Architektur geschrieben und kommuniziert mit der GPU über handgeschriebene PM4-Command-Buffer.
Um in den 8 GB geteilten GDDR5-Speicher zu passen, nutzt das Modell benutzerdefinierte Quantisierung: die meisten Gewichte in 4-Bit und die größten MLP-Matrizen in 3-Bit, etwa 4,5 GiB belegend. Der Kontext erreicht 16K Tokens.
Mit Speculative Decoding über den Multi-Token-Prediction (MTP)-Kopf von Qwen3.5 steigt die Geschwindigkeit von etwa 22 auf 31–39 Tokens pro Sekunde im Chat und bis zu 43 Tokens/s bei Code-Generierung. Getestet auf Base/Slim-PS4 mit Firmware 11.52 (Berichte über Funktion auf 14.00).
Funktionen
- Offline-Text-Chat.
- Sprachgespräche in 7 Sprachen (einschließlich Portugiesisch), mit TTS via Chatterbox.
- Diktat in 25 europäischen Sprachen (Parakeet).
- Python-Modus: Das Modell schreibt und führt MicroPython auf der Konsole selbst aus.
- Think-Modus für schwierigere Fragen.
Die Installation erfordert GoldHEN (Homebrew). Das vollständige Paket ist etwa 5,7 GB groß und auf Hugging Face verfügbar. Der Code ist unter GPLv3 auf GitHub open-source.
Das Projekt ist nicht mit Sony verbunden. Homebrew-Ausführung birgt eigene Risiken für den Nutzer.
Quellen
- garlicllm.dev (offizielle Projektseite)
- GitHub: garlic-llm
- VideoCardz
Dieser Inhalt wurde mit Unterstützung künstlicher Intelligenz erstellt und redaktionell geprüft.
Por Grok