微软研究院与 UC Berkeley 开源 TokenEconomizer:让编程智能体记住同一仓库里的经验,277 道 SWE-Bench 任务成本降低 18.4%–30.9%

1 查看

微软研究院 11 月 16 日介绍与 UC Berkeley、Microsoft Security 合作的开源插件 TokenEconomizer。它不改动智能体和模型,在本机从过往会话中提炼仓库经验,裁掉用不上的工具,并在智能体陷入失败循环时提示换路。在六个仓库的 277 道 SWE-Bench 修复任务上,五种智能体与模型组合的平均成本降低 18.4% 至 30.9%,成功率总体稳定;由于从零开始积累,前几个任务可能更贵,各仓库到第六个任务时累计成本才全部低于默认方案。

浪费在哪里

团队先用 Claude Code 跑了 60 道 SWE-Bench 任务做剖析:同一仓库完成五个以上任务后,30% 的工具调用是在重复此前做过的动作;每轮加载 23 个工具描述,其中 16 个从未被调用;失败的任务只占 17%,却花掉 32% 的费用。TokenEconomizer 针对的就是这三类开销。

三个机制

一是「微技能」:从已完成的会话中提炼一行长度、只适用于该仓库的笔记,多次会话印证后才放进下次启动的上下文,后续证据与之矛盾就撤下。二是工具裁剪:按仓库历史移除大概率用不上的工具,执行命令和编辑文件等核心工具始终保留,被移除的工具可以恢复。三是失败循环干预:发现反复失败时,由一个判定模型确认是否卡住,卡住就给一句换思路的提示,仍然卡住则提醒开发者,而不是直接停掉任务。插件不需要单独的 API 密钥,学到的内容留在开发者本机。

节省要在连续使用后出现

在六个仓库、277 道 SWE-Bench 修复任务上,五种智能体与模型组合的平均成本降低 18.4% 至 30.9%,节省已扣除插件自身调用模型的开销,其中四种组合的 pass@1 有所上升。直接调低推理强度也能省下相近或更多的钱,但成功率明显下降。代价是冷启动:前几个任务可能更贵,各仓库到第六个任务时累计成本才都低于默认方案。在每个任务都换新仓库的安全审计场景,节省缩小到 6.4% 至 19.6%。博文没有列出具体仓库和组合名称。

via: Microsoft Research Blog:TokenEconomizer、TokenEconomizer 代码仓库