Ai2 测试 AI 当「新颖性评委」：换几个词准确率从 93.5% 掉到 40.9%，带检索的智能体评委贵 10 倍还更差

为什么要测「评委」

让 AI 提出科研想法已经不难，难的是判断这些想法是不是真的新。很多自动科研系统把这一步交给另一个大模型，也就是「新颖性评委」。Allen 人工智能研究所（Ai2）10 月 27 日发布的研究《Old Ideas, Novel Problems》指出，这类评委的搭法没有标准：选哪个模型、怎么写提示、给多少推理预算、要不要接文献检索都各不相同，而且多数只在人类写的论文上验证过，并没有在它们真正要评的 AI 生成想法上验证。

团队没有拿「论文是否被接收」当新颖性的替代指标，而是从 ICLR 2026 的审稿意见里挖出审稿人明确讨论原创性的段落：高新颖性组是各领域评分前 10%、审稿人肯定新颖且无人反对的 154 个已接收论文想法；低新颖性组是后 10%、审稿人质疑原创性且无人肯定的 145 个被拒论文想法。另一组把这 154 个人类想法和一个不做检索、不迭代的简单 LLM 生成的 154 个想法配对。一名专家抽查 30 对，全部偏好人类想法。

结果：提示词一换，结论就翻

被测评委是 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6。影响最大的是提示词：同样的「人类想法对比生成想法」，告诉 GPT-5.4「审稿人认为每对里恰好有一个是新颖的」时准确率 93.5%，改成只问「哪个新颖」就跌到 40.9%，低于随机，超过一半的判断被翻转。同样的改动在纯人类想法上只让准确率变化约 7 个百分点，但也让 Claude Opus 4.6 波动了 21 分。也不存在通用的好提示：删掉一句「不要把增量改进当成新颖」，有的评委变好，有的变差。

更多检索和推理也没帮上忙。给 GPT-5.6 Sol 超高推理预算加 arXiv 实时迭代检索，macro-F1 为 0.78，比 Claude Opus 4.6 的 0.89 低 11 分，单次判断成本约高 10 倍。两个专门的评估系统同样吃亏：简单提示、低推理、三次多数投票的 Opus 4.6 拿到 0.854，总成本 2.59 美元；文献检索加重排的 Idea Novelty Checker 只有 0.642，花了 30.66 美元；Sakana AI Scientist 的新颖性评估器 0.772，花了 82.05 美元。

对做自动科研的团队

最直接的提醒是：如果你用一个 LLM 评委比较两个想法生成系统，换个提示就可能让四分之一到三分之一的结论翻转，研究里测出的这一比例正是如此。Ai2 建议评委要在它真正要评的那类想法上测试，并报告跨提示、跨模型的敏感度。基准、数据和构建新评测集的流程已经公开，论文编号 arXiv:2610.02022。