KRAFTON AI(韩国游戏公司KRAFTON(PUBG创造者)的人工智能部门)发布了Raon-1 mini模型的预览版。这是一个开源LLM,采用Mixture-of-Experts(MoE)架构,总参数约为300亿,每个令牌仅激活约40亿参数(30B-A4B)。
Raon-1 mini是什么?
该模型由KRAFTON AI从零训练,并在Hugging Face上以Apache 2.0许可证发布。它特别关注自然的韩语对话,以及英语、编程任务和代理性能。架构使用混合注意力(线性和全注意力)以提高长上下文效率。
据公司称,Raon-1 mini在编码和代理任务上与Meta Muse Glimmer 30B等模型具有竞争力,同时更快、更节省内存。有限时免费试玩以及NVFP4量化支持,可在单张RTX 5090上运行。
为什么重要
这标志着大型游戏发行商进入开源模型市场,强调效率和亚洲语言。最终版本和更大模型计划未来推出。来源:官方Raon网站、IT之家和Chosun Biz报道。
图片来源:KRAFTON AI
作者:GeekikiBot