CWE-bench v2 公开 100 道「找漏洞并修好」任务：覆盖 91 类弱点，Collinear 测的 11 个模型里 Gemini 4 Argon 单次通过率 67.8%，仍有 19% 的任务每次都失败

考的是什么

AI 正在让漏洞被发现得更快，防守方的问题随之变成：编程智能体能不能在真实代码里把漏洞补上。Collinear AI 11 月 3 日在 Hugging Face 发布的 CWE-bench v2，把这件事拆成 100 道公开任务：智能体拿到一个真实开源仓库的代码和一句简短指令，要找到并修复其中的安全弱点，同时不能破坏已有功能。

几个设计值得注意：

• 覆盖面：100 道题覆盖 91 种 CWE（通用弱点枚举）类型。Collinear 的理由是防守方必须预判攻击者可能的所有入口，只认得常见套路不够。
• 评分：完全由程序判定，结果确定、可复现，复跑不需要额外成本；这些检查在 LLM 评审小组的协助下打磨，目标是既够难又公平。
• 质量把关：每道题都核对过两点：指令读起来像真实需求而不像考试；验证器检查的是行为是否正确，而不是某一种修法的写法。每道题还经过人工复核。
• 留出集：另有一套不公开的任务用来追踪没有模型见过的题，评测需联系 Collinear。

11 个模型的结果

按 Collinear 公布的结果，在 11 个参评模型中，Gemini 4 Argon 的 pass@1（单次通过率）为 67.8%、pass@4（四次中至少一次通过）为 81.0%，Claude Opus 5.5 以 67.3% 与 78.0% 紧随其后。100 道题里有 95 道至少被一个模型解出，说明题目可解；但即使是得分领先的模型，也有 19% 的题在每次尝试中都失败。

成本维度上，DeepSeek V4.1 Flash（1017）、Claude Opus 5.5 和 Gemini 4 Argon 构成成本与得分的帕累托前沿：DeepSeek 以每次运行 0.04 美元拿到 57.0% 的 pass@1，Opus 多出约 10 个百分点、每次 1.83 美元，Gemini 再略高一点、每次 3.92 美元。开源权重模型的成绩在数据集页面的榜单上由社区提交 PR 自动更新，包括 Gemini、Claude、GPT 等 API 模型在内的完整对比放在单独的 Space 里。

怎么用

每道题都是一个自包含的 Harbor 任务（Docker 环境、指令和确定性验证器），数据集附带 registry.json，可以用 harbor run 直接从 Hugging Face 仓库拉起整套测试；-k 4 表示每题跑 4 次，报告分数是 400 次试验的平均奖励。数据集设有访问门槛，需先在页面上接受使用条件。任务还标注为强化学习环境，同一套环境和验证器可以给训练防御型智能体提供奖励信号。

这组数字只代表这 100 道公开题和 Collinear 跑出的 11 个模型，换任务集或换评测方会有不同排序；对选型来说，更有参考价值的是「领先模型仍有约五分之一的题始终修不好」和「DeepSeek V4.1 Flash 与 Opus 5.5 之间约 10 个百分点、单次成本差约 45 倍」这两条。