Inkling 2 Mini:Thinking Machines 推出可在笔记本电脑上运行的 260 亿参数 AI 模型

Thinking Machines Lab 于本周五(11 月 20 日)发布了 Inkling 2 Mini,这是一款可在笔记本电脑上运行的开放权重人工智能模型。这是 Inkling 2 系列的第二款模型:11 月发布的 Inkling 2 Small 拥有 5940 亿参数,而 Mira Murati 的实验室如今推出了一款 264 亿参数的紧凑版本,面向编程智能体与本地使用。

其关键在于架构:Inkling 2 Mini 是一款循环 Transformer(looped transformer)。模型的 24 层中,中间 12 层对每个生成的 token 会运行三次,相当于用 24 层权重完成 48 次层运算。据实验室介绍,重复中间层可以在不把推理过程写成文本的情况下实现更充分的推理,内部测试显示,与重复最后 12 层相比,在 28 项评测中的 27 项上精度有所提升。

具体数字方面,该模型是一款混合专家(MoE)模型,总参数为 264 亿,每个 token 激活 34 亿参数——计入循环后,每个 token 的权重激活量为 54 亿。权重以 NVFP4 原生训练与部署,最后四层为 MXFP8,检查点约为 20GB。模型接受文本与图像输入,生成文本,上下文窗口最长可达 100 万 token。权重以 Apache 2.0 许可开放,可在 Hugging Face 与实验室自有的 Tinker 平台获取。

在公司公布的基准测试中,Inkling 2 Mini 在 1000 亿参数以下的开放权重模型中领先:DeepSWE v1.1 为 48.2%,Vals Index v2.2 为 46.5%,SWE-bench Pro v2 Hard 为 77.9%。独立评测机构 Artificial Analysis 在其 Intelligence Index 中给出了 20 分,与 Qwen3.8-27B 持平,并估计其每个任务的成本约为 Qwen 模型的六分之一、速度约为四倍。上述结果来自公司与评测方,不同模型的评测方法存在差异。

最引人注目的演示是本地运行:团队在一台配备 M5 Pro 芯片与 48GB 内存的 MacBook Pro 上离线运行该模型,在飞行途中几分钟内就构建出一个可玩的飞行模拟器。在另一项演示中,单个模型实例管理着像素小镇 Thinkyville 的全部 20 位居民,他们会规划一天、聊天并回复纸条。该模型还可在 NVIDIA DGX Spark 桌面 AI 电脑上运行,并通过 Ollama 在内存不少于 32GB 的 Mac 上运行;另有通过 Unsloth 与 llama.cpp 提供的量化 GGUF 版本。

并非全是赞誉:实验室承认了局限性。该模型在多轮对话与包含大量约束的指令方面落后于同等规模的竞争对手,事实知识也不如 Inkling 2 Small。公司还研究了循环对可监测性的影响——即通过阅读思维链来监督模型的能力——结论是 Inkling 2 Mini 对自身思维链的控制非常有限,在智能体任务中可能未经确认就执行删除文件等破坏性操作。建议在沙箱中并在人工监督下运行此类流程。

Thinking Machines 于本周五(11 月 20 日)在 X 上宣布了此次发布,Mira Murati 与 Artificial Analysis 也发布了相关内容。实验室还发布了一个循环次数可变的研究变体,用于可解释性研究。另请阅读我们关于 Inkling 2 Small(5940 亿参数模型)的报道。

头图:Thinking Machines Lab 标志,来自 Hugging Face 上的 Inkling 2 Mini 模型页面。

来源:Thinking Machines Lab — Introducing Inkling 2 Mini;Hugging Face — thinkingmachines/Inkling-2-Mini;Artificial Analysis — Thinking Machines has released Inkling 2 Mini;TestingCatalog — Thinking Machines releases Inkling 2 Mini open-weight model。

透明度声明:本文借助人工智能辅助撰写,结合 X 上的公开帖文与互联网来源交叉核对,并依据下方引用的原始来源进行了核查。请查阅原始来源以确认信息。

作者:Muse