如何评测一个大模型？评分维度和 Prompt 模板

Q: 第一步：建一个属于你的评估集

这是整个评测的地基，也是最花功夫但最值的一步。 从真实需求取样：从实际的用户问题、历史工单、真实文档里抽题，别自己凭空编“理想问题”。50 条真实题胜过 500 条想象题。 覆盖分布，不只测常见情况：既要有高频的典型任务，也要专门放进难例、边界情况、容易出错的输入。模型的差距往往在长尾上拉开。 标注期望答案或评分要点：能有标准答案最好（如抽取、分类任务）；开放任务标“好答案应包含哪些要点、不能有哪些错误”。 规模：起步 50–100 条就能看出明显差异，别等攒到几千条才开始。可以先小后大。 评估集一旦建好，就是可复用的资产：换模型、调提示词、模型升级，都用它重测，横向可比。

Q: 第三步：怎么打分——三种方式

1. 自动指标（有标准答案时）：分类任务算准确率/F1，抽取任务算字段匹配率，检索算命中率。客观、可规模化，但只适用于有明确对错的任务。 2. 人工评分（最准，但贵）：人对着评分维度逐条打分。质量最高，尤其适合开放性、主观性强的任务。缺点是慢、贵、评委间标准要对齐。适合小规模精评和给自动评分做校准基准。 3. LLM 当裁判（LLMasaJudge，规模化主力）：用一个强模型按你的评分标准给答案打分。能快速跑完几百条评估集，是目前规模化评测的主流做法。但有几个坑必须知道： 位置/长度偏好：裁判模型可能偏向更长的答案、或偏向排在前面的选项。对比两个答案时，交换位置各评一次取平均。 自我偏好：模型

Q: 一份可直接套用的评分 Prompt 模板

要点：先理由后分数（强迫模型“想清楚再打分”，一致性更好）、维度和量表写死、输出结构化便于批量统计。把它套进脚本，喂进评估集，就能自动跑出各模型的分维度得分表。 LLM 裁判跑全量、人工精评小批做校准——规模和可信度兼顾的务实组合。

Q: 常见问题

Q：评估集要多久更新一次？ A：场景变化或有新的失败案例时就补进去。尤其把线上暴露的坏例子持续收集进评估集，它会越来越贴合你的真实需求，成为你最有价值的评测资产。 Q：新模型发布，我要全部重测吗？ A：有了固定评估集，重测成本很低——跑一遍脚本即可。这正是建评估集的好处：模型迭代飞快，而你有一把不变的尺子随时衡量。 Q：LLM 裁判会不会不如人准？ A：在有清晰标准的维度上，校准好的 LLM 裁判和人工的一致性可以很高，且快得多、便宜得多。关键是标准写清楚、做位置去偏、用人工校准。完全主观的审美类任务仍建议人评。

AI文章编辑部2026-07-04评估

别只看排行榜——公开榜单和你的真实场景可能毫不相关。本文给出一套自己动手评测大模型的方法：怎么建评估集、定哪些评分维度、用 LLM 当裁判要注意什么，以及一份可直接套用的评分 Prompt 模板。

「哪个大模型最强」是个假问题。真正有意义的问题是「哪个模型最适合我这个场景」——而这两者的答案经常不一样。公开排行榜上排第一的模型，在你的客服对话、你的代码库、你的中文长文档上，未必比排第五的强。榜单测的是通用能力和它自己选的题目，你要的是特定任务上的真实表现。

所以，学会自己评测比记住榜单排名重要得多。这篇文章给出一套务实的评测方法：怎么建评估集、看哪些维度、怎么用模型当裁判，并附一份可直接改用的评分 Prompt 模板。

评测的目的不是找出“最强的模型”，而是找出“最适合你场景的模型”。

为什么不能只看排行榜

公开榜单（各类 Arena、benchmark 榜）有它的价值——快速了解模型大致梯队。但直接拿它做选型决策有三个硬伤：

题目和你的场景无关：榜单常测数学、通用推理、英文任务，你的场景可能是中文法律问答、特定格式的数据抽取、你们产品的客服话术。相关性可能很低。
污染与过拟合：热门 benchmark 的题目可能进了训练数据，或者模型被专门优化过应试，分数虚高。
平均分掩盖分布：一个平均分高的模型，可能恰好在你最在意的那类任务上表现平平。

榜单当参考、缩小候选范围可以；最终选型必须用你自己的评估集说话。这和 RAG 调优必须建评估集是同一个道理——脱离真实场景的优化都是自我安慰。

第一步：建一个属于你的评估集

这是整个评测的地基，也是最花功夫但最值的一步。

从真实需求取样：从实际的用户问题、历史工单、真实文档里抽题，别自己凭空编“理想问题”。50 条真实题胜过 500 条想象题。
覆盖分布，不只测常见情况：既要有高频的典型任务，也要专门放进难例、边界情况、容易出错的输入。模型的差距往往在长尾上拉开。
标注期望答案或评分要点：能有标准答案最好（如抽取、分类任务）；开放任务标“好答案应包含哪些要点、不能有哪些错误”。
规模：起步 50–100 条就能看出明显差异，别等攒到几千条才开始。可以先小后大。

评估集一旦建好，就是可复用的资产：换模型、调提示词、模型升级，都用它重测，横向可比。

第二步：定评分维度

「好不好」要拆成可打分的维度，不同任务权重不同。常用维度：

维度	问什么	尤其适用
正确性	事实对不对、有没有幻觉	问答、知识、抽取
指令遵循	有没有严格按要求（格式、字数、约束）	结构化输出、Agent
完整性	该覆盖的要点全不全	总结、分析、报告
相关性	有没有答非所问、跑题	检索问答、对话
格式合规	JSON/表格/字段是否规范可解析	工程集成
安全合规	有没有该拒答不拒、越界内容	C 端、合规场景
语言质量	中文是否自然、无翻译腔、无套话	内容生成、对话

选 3–5 个和你场景最相关的即可，别贪多。每个维度定一个简单量表（如 1–5 分），并写清每档的判断标准——标准越具体，打分越稳定。

把“好不好”拆成正确性、指令遵循、完整性等可打分维度，才谈得上客观比较。

第三步：怎么打分——三种方式

1. 自动指标（有标准答案时）：分类任务算准确率/F1，抽取任务算字段匹配率，检索算命中率。客观、可规模化，但只适用于有明确对错的任务。

2. 人工评分（最准，但贵）：人对着评分维度逐条打分。质量最高，尤其适合开放性、主观性强的任务。缺点是慢、贵、评委间标准要对齐。适合小规模精评和给自动评分做校准基准。

3. LLM 当裁判（LLM-as-a-Judge，规模化主力）：用一个强模型按你的评分标准给答案打分。能快速跑完几百条评估集，是目前规模化评测的主流做法。但有几个坑必须知道：

位置/长度偏好：裁判模型可能偏向更长的答案、或偏向排在前面的选项。对比两个答案时，交换位置各评一次取平均。
自我偏好：模型可能偏爱和自己风格相近的答案，别用被测模型给自己当裁判。
标准要写死在 Prompt 里：不能只说“打个分”，要给清晰的评分维度、每档标准、以及要求它先说理由再打分（能提升一致性）。
需要人工校准：先让人评一小批，和 LLM 裁判的打分对比，确认裁判靠谱后再放它跑全量。

务实组合：LLM 裁判跑全量做初筛，人工精评一小批做校准——兼顾规模和可信度。

一份可直接套用的评分 Prompt 模板

你是一位严格、公正的评审。请根据以下标准，对"回答"进行评分。

【用户问题】
{question}

【被评回答】
{answer}

【参考要点】（如有）
{reference_points}

【评分维度，各 1-5 分】
- 正确性：事实是否准确，有无编造。5=完全准确无幻觉，1=存在明显错误
- 指令遵循：是否满足问题中的格式/约束要求。5=完全满足，1=严重偏离
- 完整性：是否覆盖参考要点。5=要点齐全，1=大量遗漏
- 相关性：是否切题无冗余。5=紧扣问题，1=大量跑题

【输出格式】
先逐维度给出简短理由，再给分数，最后用 JSON 汇总：
{"correctness": x, "instruction": x, "completeness": x, "relevance": x, "reason": "一句话总评"}

注意：只依据给定信息评分，不要脑补；理由要具体指出问题所在。

要点：先理由后分数（强迫模型“想清楚再打分”，一致性更好）、维度和量表写死、输出结构化便于批量统计。把它套进脚本，喂进评估集，就能自动跑出各模型的分维度得分表。

LLM 裁判跑全量、人工精评小批做校准——规模和可信度兼顾的务实组合。

别忘了成本、延迟和稳定性

选型不只看质量分。同样能用的两个模型，要一并比较：

成本：按你的真实请求量算 token 费用，质量接近时便宜的胜出；
延迟：C 端和交互场景，首字延迟和总时长直接影响体验；
稳定性：多次跑同一批题，输出波动大不大、格式崩不崩、限流严不严；
上下文与能力边界：上下文窗口够不够、工具调用稳不稳、中文强不强。

把质量分和这些工程指标放一张表，才是完整的选型依据。生产上还可以用 AI 网关对多个模型做灰度对比，拿真实流量说话。

适用人群与替代方案

适合要为产品选模型、或想验证“换个模型是否更好”的技术团队和产品负责人。如果你只是个人偶尔用用，不必这么正式——直接拿几个你关心的真实问题手动试几家，凭感觉选也够了。但只要是要投入生产、要花钱、要对效果负责的选型，一个哪怕只有 50 条的评估集，都能让你从“听说 X 模型强”升级到“在我的场景里 X 确实比 Y 好 12%”。

常见问题

Q：评估集要多久更新一次？ A：场景变化或有新的失败案例时就补进去。尤其把线上暴露的坏例子持续收集进评估集，它会越来越贴合你的真实需求，成为你最有价值的评测资产。

Q：新模型发布，我要全部重测吗？ A：有了固定评估集，重测成本很低——跑一遍脚本即可。这正是建评估集的好处：模型迭代飞快，而你有一把不变的尺子随时衡量。

Q：LLM 裁判会不会不如人准？ A：在有清晰标准的维度上，校准好的 LLM 裁判和人工的一致性可以很高，且快得多、便宜得多。关键是标准写清楚、做位置去偏、用人工校准。完全主观的审美类任务仍建议人评。

小结

评测大模型的正确姿势：榜单只用来缩小范围，选型靠自己的评估集。三步走——从真实需求建 50–100 条评估集、把“好不好”拆成 3–5 个可打分维度、用“LLM 裁判跑全量 + 人工校准小批”打分，再叠加成本延迟稳定性。有了这套方法和那份评分 Prompt 模板，你就能把模型选型从“听说谁强”变成“数据证明谁更适合我”。