一个芯片设计公司放出来的通用模型
Ricursive Intelligence 是一家做 AI 芯片设计的公司,11 月 4 日以 Apache 2.0 许可在 Hugging Face 发布 Ripple-65B Preview。按官方博客,这是驱动其芯片设计平台的专有模型的通用版本:650 亿参数的稠密 Transformer,没有用混合专家(MoE),在 12T token 的纯文本语料(以英文和代码为主)上从零预训练,支持最长 1M 上下文。这次放出 BF16 指令版、NVFP4 量化版,以及一个只做过预训练、没有中期训练和合成问答数据的 Base 版。
模型卡写明,训练起点是 Ai2 的 Olmo 3 基线,架构后来换成类似 Gemma 3N 的设计,「瘦而深」:隐藏维度 5120、共 80 层,并加了门控注意力、全局 NoPE、value residual 等改动。选稠密而非 MoE 的理由是降低基础设施复杂度:团队开发期间从 1 人增至 5 人,用简单分片、不写自定义 kernel、不做量化,预训练与后训练全程保持约 40% 的 MFU。
分数领先多少,落后在哪
Ricursive 自报 Terminal-Bench 2.1 得分 80.52,略高于 Reflection Beam 501B 的 80.1,也高于 Muse Spark Open 816B(76.4)、Thinking Machines Inkling 975B(63.8)和 NVIDIA Nemotron 3 Ultra 550B(56.4)。模型卡也坦白了复现难度:改用官方 Terminus 2 框架统一重测时,Beam 降到 70.8,Muse Spark Open 为 78.7。
同一张表里,Ripple 并非处处领先:SWE-bench Verified 76.5(Beam 81.6)、DeepSWE 1.1 44.3(Muse Spark Open 60.0)、SciCode 39.4(Muse Spark Open 58.5)、MCP Atlas 71.67(Muse Spark Open 89.2)。还要注意两点:对比对象只有美国开源权重模型;它每个 token 激活全部 65B 参数,比表中几个 MoE 模型的激活参数(23B 到 55B)都多,「以小胜大」只在总参数口径上成立。官方也说明,Preview 版的后训练相对较轻,主要针对智能体编程。
3200 万美元怎么算
博客称 Ripple-65B Preview 的研发总成本为 3200 万美元,包括训练梯度实验、数据配比、评测、调试、合成数据、后训练配方开发和最终训练,按公司估算约为此前开源智能体编程领先模型的十分之一;强化学习只用了 140 万次 rollout,约为 Beam 的七十分之一。这些数字都由 Ricursive 自行估算。
部署上,65B 的体量可以放进 DGX Spark 这类本地设备,官方提供 NVFP4 版本和 Colab 示例;在数据中心,2 张 B200、batch 为 8 时未量化即可达到每秒约 250 个 token。对想在本地或私有环境跑编程智能体、又需要宽松许可的团队,这是一个值得拿自己任务实测的新选项。
via: Ricursive:Introducing Ripple-65B Preview、Hugging Face 模型卡:Ripple-65B-Preview