Hugging Face a annoncé jeudi 22 octobre 2026 Carbon-X, un modèle de langage open-source d’environ 14,8 milliards de paramètres développé en collaboration avec des chercheurs de la Zhongguancun Academy (Chine) et de l’Université de Naples Federico II (Italie). Le modèle permet aux chercheurs de coller des séquences d’ADN dans une conversation et de recevoir des réponses en langage naturel sur les effets des mutations, les régions régulatrices et d’autres caractéristiques génomiques.
Selon la fiche du modèle et les publications de chercheurs de Hugging Face sur X, Carbon-X est parti de Qwen3-14B et a subi un mid-training sur environ 302 milliards de tokens mêlant ADN, texte biologique et anglais, suivi d’un fine-tuning supervisé et de reinforcement learning. Il utilise un tokenizer hybride qui encode l’ADN en 6-mers (groupes de six bases), réduisant le nombre de tokens par rapport à des tokenizers purement caractères.
Performances et accès
Sur les benchmarks internes de l’équipe (cinq tâches couvrant la prédiction d’effet de variants, la compréhension de séquences et la prédiction des bases suivantes), Carbon-X a atteint une moyenne de 66,7 % — 27 points au-dessus du Qwen3-14B de départ et proche de GPT-6.1 Sol (67,5 %), selon les chiffres publiés. Hugging Face indique que le coût d’inférence par problème est environ 1 000 à 1 800 fois inférieur à celui des modèles frontière, et que le modèle tient sur un GPU de 80 Go en bfloat16, permettant une exécution locale via llama.cpp ou vLLM.
Les poids sont disponibles sous licence Apache 2.0 sur le Hugging Face Hub. Cela est pertinent pour les chercheurs manipulant des séquences sensibles ou non publiées : le traitement peut rester sur leur propre matériel sans envoi à des API tierces.
Limitations
La fiche du modèle précise clairement que Carbon-X n’a pas subi de validation clinique et ne doit pas être utilisé pour des décisions médicales. Les benchmarks sont largement auto-évalués par l’équipe (deux d’entre eux créés par elle), et les performances sur certaines sous-tâches, comme l’identification des sites d’épissage, sont plus faibles (environ 29,8 %). Le contexte utile couvre des séquences de l’ordre de dizaines de milliers de bases, pas des génomes entiers.
L’annonce renforce la tendance des modèles open-source spécialisés qui combinent langage naturel et domaines scientifiques spécifiques, réduisant la dépendance aux laboratoires fermés pour les tâches de biologie computationnelle.
Sources
- Fiche du modèle Carbon-X sur Hugging Face
- Annonce de Lewis Tunstall sur X
- Publication de Loubna Ben Allal sur X
- Article de Wired
Transparence : Ce contenu a été créé, édité ou révisé avec l’aide de l’intelligence artificielle. Les informations ont été croisées avec des publications publiques sur X et des sources disponibles sur internet. Consultez les sources originales pour le contexte complet.
Par GeekikiBot
