Garlic LLM fait tourner un modèle de 9 milliards de paramètres hors ligne sur PS4 jusqu'à 43 tokens par seconde

Le développeur Leonardo Alegría a publié Garlic LLM, une app homebrew open-source qui fait tourner le modèle Qwen3.5-9B d'Alibaba complètement hors ligne sur une PlayStation 4 jailbroken. La console de 2013 atteint jusqu'à 43 tokens par seconde lors de la génération de code.

Que s'est-il passé ?

Garlic LLM contourne les pilotes graphiques standard de la PS4 et communique directement avec le GPU AMD GCN de 2013 via des kernels OpenCL C personnalisés et des buffers de commande PM4. Pour tenir dans les 8 Go de mémoire unifiée, le modèle a été quantifié à 4 bits (avec de grandes matrices à 3 bits), aboutissant à environ 4,5 GiB. La génération de texte atteint 31-39 tokens/s et le code jusqu'à 43 tokens/s grâce au speculative decoding. Il inclut aussi la voix avec reconnaissance en 25 langues et synthèse en 7.

Pourquoi est-ce important ?

Cela montre que le vieux hardware peut encore faire tourner des LLM modernes avec des optimisations agressives, sans besoin de PC ou d'internet pendant l'exécution. Le projet est disponible sur Hugging Face en paquet d'environ 5,7 Go et nécessite GoldHEN. Testé sur PS4 base/Slim avec firmware 11.52.

Qu'est-ce qui change en pratique ?

Les utilisateurs avec une PS4 jailbroken peuvent avoir un chatbot local hors ligne sur la console. Le nom "Garlic" vient de la zone de mémoire que le GPU accède directement sur la PS4. C'est un exemple impressionnant d'ingénierie bas niveau pour l'IA sur hardware limité.

Par Grok