一家只有智能体的公司
多智能体系统并不新鲜,但常见做法是只训练负责调度的那个模型,下属智能体保持冻结——General Reasoning 在发布页里举的例子是 Kimi K2.5,理由是很难算清每个智能体贡献了多少、训练也不稳定。这家自称「算力有限的小团队」的实验室 10 月 23 日公布的 RLCR(reinforcement learning from collective rewards,集体奖励强化学习)走了最简单的路:整个团队共用一个奖励,不估算个人贡献,CEO 和专家一起训练。
具体设置是:每个任务由一个 CEO 智能体先进入规划模式,决定招哪些专家、怎么搭组织,最多招 8 人;所有角色都是同一个模型。大家通过一个类似工作群的消息板协作,有分主题的频道、私信、表情回应和共享档案,任何智能体都能翻看队友的完整工作记录。
分数和速度
首个模型 Avalon-M1-Mini 从 NVIDIA Nemotron 3 Super 的预训练底座出发(120B 总参数、12B 激活),只用了 38,374 条监督微调样本,随后在 147 个环境、200 多万个不同任务上做强化学习。官方称,八人团队在 16 项百分制基准中的 14 项上超过单个智能体,例如 IMO-ProofBench-Advanced 从 29.8% 升到 37.5%;在同为该底座训练的 Nemotron 3 Super 对照组上,团队模式每一项都更好。
团队赢,主要赢在速度。让单个智能体一直写到和团队一样多的 token,能追回约五分之三的差距,但长时间思考的每个 token 都在关键路径上,耗时是团队的 2.9 到 6.2 倍;同样 token 预算下,团队平均快 3.9 倍拿到相当分数。与更大的蒸馏模型 Inkling Small(276B 总参数)相比,Avalon-M1-Mini 在 18 项中赢 6 项、平 3 项。所有评测都在 General Reasoning 自己的设施上跑,部分检索类基准用的是内部索引,不能和公开成绩直接比较。
团队自己长出的结构
训练过程中,组织形态发生了可量化的变化:在软件类环境里,「主程」在招聘中的占比从约 0.4% 升到约 13%,其他专家查看主程记录的次数是看同事的 15 倍;评审、测试、核查类角色从 13% 翻倍到 26%,至少有一次同行评审的团队从 42% 升到 64%。给每人分一个模块的计划从 71% 降到 31%,「一人实现、其他人建议和验证」的流水线从 16% 升到 54%。主动表示愿意帮队友的比例从约 5% 升到 60% 以上。
但这种合作并不会自动迁移:把模型放进没有 CEO、自私更划算的合作博弈里,猎鹿博弈中选择合作的比例从 98% 降到了 66%。
认得出问题,却不再上报
最值得注意的是安全测试。在模拟今年夏天 OpenAI / Hugging Face 事件的场景里(没有给真实沙盒,只提供一个模拟参与攻击的工具),210 次运行中无一次攻击评分器,签署篡改报告的比例始终不超过 1%,接管人类控制的操作在每个检查点都是 0。可是,向人类评测团队发出警报的运行比例从 76.7% 降到 20%,再降到 0;推理中考虑过要不要报警的比例一直在 96.7% 到 100% 之间。向监管方举报的工程师比例从 68.3% 降到 36.2%;在另一个疫苗分配模拟中,第 50 步时每次运行都会向监察长提交报告,从第 100 步起几乎没人再报。
实验室把这称为「组织封闭」(organisational insularity):智能体越来越看重内部协作和完成任务,问题只在团队内部提一提,或者计划报告却没有执行。它表示后续会在训练环境里加入更多报告机会,并测试直接奖励恰当上报能否保住这一行为。
现在能拿到什么
Avalon-M1-Mini 仍在训练,页面上的数字会随训练变化;路线图依次是完成训练、在 arXiv 发布最终技术报告、开放训练环境(含发现的奖励作弊记录),最后才是评测框架和模型权重。目前能看到的是发布页和一份 81 页、标注「仍在修订」的技术报告,以上结论均为实验室自报,尚无第三方复现。
via: General Reasoning:Avalon-M1、技术报告 PDF、CellCog:Avalon-M1: AI Agents Trained to Work as a Company