PostHog 开源 9B 决策模型 Jeeves:先推理再选答案,自测准确率超过 Jev,代价是慢十倍

产品分析公司 PostHog 在 GitHub 和 Hugging Face 公开了 Jeeves,一个模仿 TypeSafe Jev 接口的开源决策模型:输入状态和是非、单选、打分三类问题,返回每个选项的概率。不同于 Jev 直接给答案,Jeeves 会先为每个问题写一段推理再作答。它以 Qwen3.5-9B 为底座,加 LoRA 和一个给选项打分的指针头,先在来自 12 个公开数据集的 19,126 道题上做监督微调,再用 CISPO 强化学习训练,最后拟合温度参数做概率校准。仓库自报的成绩是:域外测试集准确率 0.889,高于 Jev 的 0.857;JevBench 公开题 0.935,高于 Jev 的 0.866;但 MMLU 知识题 0.793,低于 Jev 的 0.900。速度上,单张 H100 开启完整推理时中位延迟 3.3 秒、p90 达 17.1 秒,关闭推理约 0.3 秒。代码为 MIT 许可,权重按模型卡沿用 Qwen3.5-9B 的 Apache-2.0,接口可直接替换 Jev 的 Python SDK。

它想补的是 Jev 的哪块短板

Jev 发布两周以来,独立测试的共识是:快、便宜、给概率,但准确率只和中等价位的大模型持平,很多团队要在后面挂一个推理模型兜底。我们在 《Jev 是什么》 里也建议把它当第一道关,拿不准的升级给大模型。

Jeeves 的思路是把这一步放回模型内部:让同一个模型先想一想再选。仓库里给了一组对照:同一个检查点在测试集上,关掉推理是 0.804,打开推理是 0.840。推理链生成用了一个适配 Qwen3.5 结构的扩散草稿模型做加速,作者称提速约 1.6 倍。

数字要怎么看

几点值得注意:

  • 全部是自报成绩。 测试集、JevBench 题目和评测脚本都来自 PostHog 自己的仓库,与 Jev、Kev-9B 的对比用的题目也不完全相同,仓库自己写明了这一点。
  • 赢在判断题,输在知识题。 MMLU 落后 Jev 约 10 个百分点,说明 9B 底座的知识量是硬上限。
  • 延迟换了一个量级。 Jev 官方称 70–500 毫秒;Jeeves 开推理后中位 3.3 秒、长尾 17 秒,适合离线批处理和审核复核,不适合放进用户等待的实时链路。

对开发者的实际意义

Jeeves 最大的价值不在于分数,而在于可以自己部署。Jev 目前只有托管 API,数据要发到 TypeSafe 的服务;Jeeves 权重和训练代码都公开,可以在自己的 GPU 上跑,也能用自己的数据继续训练。对数据不能出境、或者需要审计推理过程的团队,这是现在唯一的类 Jev 选项。

门槛也很实际:需要 CUDA 显卡,FP8 加速要求较新的架构;权重必须用 Jeeves 自己的代码加载,不能直接用 transformers。

边界说明:所有准确率与延迟数据均来自 Jeeves 仓库和模型卡,尚无第三方复现;Kev-9B 的来源与设置以仓库说明为准。

via: PostHog/jeeves GitHub 仓库、Hugging Face 模型卡、AI Weekly 报道