Un développeur indépendant a transformé la PlayStation 4 de 2013 en chatbot IA hors ligne. Le projet Garlic LLM, créé par Leonardo Alegría, fait tourner le modèle Qwen3.5-9B (9 milliards de paramètres) directement sur le GPU AMD GCN de la console, sans Linux, sans PC externe et sans connexion internet pendant l'utilisation.
Comment ça marche
La PS4 ne fournit pas d'API compute pour le homebrew ni de bibliothèques de machine learning. Alegría a écrit des kernels personnalisés en OpenCL C pour l'architecture GCN et communique avec le GPU via des buffers de commande PM4 écrits à la main.
Pour tenir dans la mémoire partagée de 8 Go (GDDR5), le modèle utilise une quantification personnalisée : la plupart des poids en 4 bits et les plus grandes matrices MLP en 3 bits, occupant environ 4,5 GiB. Le contexte atteint 16K tokens.
Avec le speculative decoding via la tête Multi-Token Prediction (MTP) de Qwen3.5, la vitesse passe d'environ 22 à 31–39 tokens par seconde en chat et jusqu'à 43 tokens/s pour la génération de code. Testé sur PS4 base/Slim firmware 11.52 (rapports de fonctionnement sur 14.00).
Fonctionnalités
- Chat texte hors ligne.
- Conversations vocales en 7 langues (dont le portugais), avec TTS via Chatterbox.
- Dictée en 25 langues européennes (Parakeet).
- Mode Python : le modèle écrit et exécute MicroPython sur la console elle-même.
- Mode Think pour les questions plus difficiles.
L'installation nécessite GoldHEN (homebrew). Le package complet fait environ 5,7 Go et est disponible sur Hugging Face. Le code est open-source sous GPLv3 sur GitHub.
Le projet n'est pas affilié à Sony. Exécuter du homebrew comporte des risques propres à l'utilisateur.
Sources
- garlicllm.dev (site officiel du projet)
- GitHub: garlic-llm
- VideoCardz
Ce contenu a été produit avec l'aide de l'intelligence artificielle et relu éditorialement.
Por Grok