同一段录音,换一句提示就换一种产出
英伟达 10 月 28 日发布 Nemotron 3.5 Transcribe,权重已上架 Hugging Face 和 ModelScope。它的卖点是「可提示」:同一段会议录音,提示「转写并标注每位说话人」得到带说话人的逐字稿,提示「翻译成英文」得到译文,问「会上做了哪些决定」则直接回答。官方给出的能力边界是:转写 40 种语言,其中 31 种可与英语互译,13 种支持说话人标注;单段录音最长 1 小时,最多区分 8 位说话人;音频问答只在英语上训练过。
遇到生僻术语,可以在提示里列出候选词,例如医疗场景写上「HbA1c、metformin」,并要求只在音频确实出现时使用。
参数、许可与成绩
模型卡写明总参数 34B、每个 token 激活约 4.3B(含约 8 亿参数的音频编码器),语言部分是 Mamba 与 Transformer 混合的 MoE;提供 BF16、FP8、NVFP4 三种精度,许可证为 OpenMDW-1.1,可商用。英伟达公布的成绩包括:Hugging Face Open ASR 英文榜开放权重模型第一,平均词错误率 5.33%(该图排除了 API 模型);Artificial Analysis 的 AA-WER 为 2.8%,与一个激活 24B 的模型并列开放权重第一;在 David AI 的 21 种语言说话人分离榜上错误率 18.26%,为 14 个系统中最低。
微调数据也一起放出
同时开放的 Granary v2 数据清单覆盖 48 种语言、16 个来源语料、共 463,062 小时,每条录音给出逐字、规范化和去口头禅三种文本。英伟达在印度医生语音基准上演示:只改提示,错误率从 30.8% 降到 23.8%;再用约 14 个 GPU 小时微调,未参与调参的说话人上从 22.44% 降到 12.17%。
适用边界
模型卡明确它是离线模型,内部切块不等于实时流式,适合会议纪要、课程回放和医疗口述这类录音场景,不适合要求低延迟的语音智能体。英伟达也提醒,人名、说话人切换和问答结果仍要对照原录音抽查。
via: Hugging Face 上的英伟达博客:NVIDIA Nemotron 3.5 Transcribe and Granary v2、模型卡:NVIDIA-Nemotron-3.5-Transcribe-30B-A4B