Surge AI 发布税务智能体基准 DAYJOB: Tax：50 项专业税务任务、1,789 个文件，最好的 Claude Sonnet 5.5 通过率也只有 10.8%

考的不是税法问答，而是接手一份活

Surge AI 10 月 27 日发布 DAYJOB: Tax，这是其 DAYJOB 系列继医疗、金融之后的第三个基准。智能体拿到的是客户请求和一堆原始记录，要自己判断该查什么、调和相互矛盾的证据、发现客户没问到的问题，最后交出纳税申报、工作底稿、技术复核或建议信。

50 个任务覆盖 8 个执业领域：个人与家庭、小企业、合伙企业、房产与投资、遗产赠与与信托、国际税务、公司交易、税务复核与争议。工作区共有 1,789 个文件，包括 1,487 个 PDF、117 个 Excel、38 个 Word，以及邮件、图片和 CSV；每个任务中位数 30 个文件，最多 123 个。素材里有一张手写进货收据的照片，也有一份显示施工队实际在五个州作业的派工日志，而客户以为公司只在一个州经营。任务由税务专家编写，并经过三层专家复核。

成绩：最好的也只过一成

评分取 pass@1，满足任务 95% 以上的评分项才算通过。排行榜前三都是 Anthropic 模型：Claude Sonnet 5.5 为 10.8%，Claude Fable 5.1 为 9.6%，Claude Opus 5.5 为 9.2%；其后是 Muse Wonder 1.0 6%、Grok 4.7 5%、GPT-6 Astra 4.8%、GPT-6.1 Sol 4%、Gemini 4 Argon 3.2%，DeepSeek V4.1 Flash 1017 为 1.2%、GLM 5.3 为 0.4%，Kimi K3、Qwen 3.8 Max 和 Mistral Large 4 为 0%。作为对照，同系列的医疗和金融基准里最强模型分别能完成 24.7% 和 23.9%。

Surge 举的两个例子说明失分在哪：一位客户问两个卖房日期哪个更划算，GPT-6 Astra 五次尝试都没提醒自住免税资格在 2027 年 8 月底前后失效，Opus 五次都提到了；一对分居伴侣问如何分割退休账户，Opus 五次都直接认定两人未婚，GPT-6 Astra 有四次先要求核实婚姻状况。

读这份榜单要注意什么

基准只公开 2 个样例任务，完整的 50 个任务需向 Surge 申请，外部暂时无法复现。Surge 本身为多家模型公司提供训练数据，其博客也介绍过与 Anthropic 的合作，读者可把这一背景纳入判断。对企业而言，更有参考价值的是失分类型：模型往往算得对，却漏掉客户没问的关键期限，或在证据不足时直接下结论，这正是税务工作需要人工复核的地方。