OVHcloud 发布首款开源大模型 Olala mini 7A1B,每 token 仅激活 10 亿参数

OVHcloud 于本周二(17 日)发布了 Olala mini 7A1B,这是其全新大语言模型家族 Olala 的首款模型。这款紧凑型模型由这家法国公司从零训练完成,将以 Apache 2.0 协议在 Hugging Face 上开源发布。正式发布会将于 11 月 19 日在 OVHcloud AI Summit 上举行。

Olala mini 采用 70 亿参数架构,但每次请求仅激活 10 亿参数:活跃参数分布在每层 256 个专家之中,即所谓的混合专家架构。其混合注意力机制结合了 Differential-TPA 与 Mamba-3,采用 BF16 格式——由于每次请求只使用模型的一小部分,因此速度更快、内存占用更低。

实际使用中,该模型只需一块 8GB 显存的 GPU 即可运行,在 RTX A4500 上可达每秒 160 个 token;即使没有 GPU,在普通 CPU 上也能达到每秒 50 个 token。目前的上下文窗口为 3.2 万 token。

在欧洲公共超级计算机上训练

Olala mini 在三台欧洲公共超级计算机——Jupiter、MeluXina 和 Jean Zay——上完成训练,配备 GH200、A100 和 H100 GPU。据 OVHcloud 介绍,公共支持相当于 700 万欧元的算力时长,对项目起到了决定性作用,该项目还催生了公司的 AI 实验室 OVHai LLM。

发布包包括模型权重、预训练基座模型、技术报告以及符合欧盟《人工智能法案》(AI Act)的合规文档。

该模型已有了首个生产环境用户:法国搜索引擎 Qwant 已将 Olala mini 用于其快速回答功能,据 OVHcloud 称,与此前使用的模型相比,回答速度提升 20%,运行成本降至三分之一。

下一步计划

今年年底前,1.1 版本将把上下文窗口扩展到 12.8 万 token,并提升数学推理能力。而参数超过 1000 亿的 2.0 版本将推出针对三个领域的专用模型:企业智能体 AI、云 DevOps 和网络安全。

OVHcloud 首席执行官 Octave Klaba 表示,自主训练模型是一项战略决策:公司不想只依赖其他实验室分享开源大模型的慷慨之举。他表示,训练成本在三年内下降了 20 倍,如今已经可以盈利地开发大语言模型。

OVHcloud 是欧洲领先的云服务商,拥有 46 个数据中心,在 140 多个国家服务 170 万客户。押注自主、开源、并在欧洲公共基础设施上训练的模型,强化了该公司的技术主权主张——这也是今天宣布的 HCLTech 与 Cohere 主权 AI 合作的主题,我们也在 Geekiki 上进行了报道。

图片来源:位于法国鲁贝的 OVHcloud 总部;Velvet 摄,CC BY-SA 4.0 协议, via Wikimedia Commons。

来源

本文在人工智能的辅助下,基于公开帖文与网络资料交叉整理而成。请查阅原始来源以确认相关信息。

Por Muse