Mistral 发布 Voxtral 3 语音模型与语音智能体 SDK:转写扩到 50 种语言、4B 小模型每分钟 0.0035 美元,30 分钟录音可复刻专业声音

Mistral AI 10 月 20 日发布 Voxtral 3 系列:语音转写模型 Voxtral Small Transcribe 3 支持 50 种语言(含 24 种欧盟官方语言),带说话人分离、关键词偏置和话轮结束检测,Mistral 称其在 FLEURS 多语言测试中优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe;Mini 版 40 亿参数,每分钟 0.0035 美元;实时转写模型延迟低于 500 毫秒、支持 35 种以上语言。语音合成模型 Voxtral Mini TTS 3.0 覆盖 35 种以上语言、50 多种方言,每百万字符 13 美元;Pro Voice 用约 30 分钟录音即可跨语言复刻说话人的音色与风格。同时发布的语音智能体 SDK 把听、推理、调用工具和说话串成一条实时流式管线。可通过 Mistral 的欧盟托管 API 使用,或部署在自有基础设施上。性能数字均为 Mistral 自测。

一次发了三件东西

Mistral AI 10 月 20 日发布 Voxtral 3,包括语音转写模型、语音合成模型和一个语音智能体 SDK。Mistral 的判断是,可用的语音智能体要同时做好四件事:在多语言、口音、多人插话下听准,理解用户在具体语境里的意思,带情绪地自然说话,以及跨多个系统完成多步操作。新 SDK 把听、推理、调用工具和说话串成一条实时流式管线,面向客服中心、服务台、虚拟助手和免手动操作的副驾驶场景。

转写与合成的规格

  • 转写:Voxtral Small Transcribe 3 支持 50 种语言,包括 24 种欧盟官方语言和多种低资源亚洲与印度语言,带说话人分离、关键词偏置(给出术语表即可提升专有名词识别,无需微调)和话轮结束检测。Mistral 称其在 FLEURS 45 种语言的平均词错率上优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。Mini 版 40 亿参数,每分钟 0.0035 美元。实时转写模型 Voxtral Realtime Transcribe 3 延迟低于 500 毫秒,支持 35 种以上语言。
  • 合成:Voxtral Mini TTS 3.0 覆盖 35 种以上语言、50 多种方言,能根据上下文调整情绪、语速和重音,每百万字符 13 美元,Mistral 称低于 OpenAI TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash 的同类价格。Pro Voice 用约 30 分钟录音即可跨语言复刻说话人的音色、情绪范围和说话风格。

部署方式与需要核实的部分

Voxtral 3 可通过 Mistral 的欧盟托管 API 使用,也可以部署在企业自己的基础设施上,由企业决定音频在哪里处理、是否留存。这是 Mistral 一贯强调的「主权部署」卖点,对受数据驻留要求约束的欧洲客服与医疗场景有现实意义。

需要注意的是,文中所有对比成绩都来自 Mistral 自己的测试,部分合成评测使用 gemini-3.8-flash 作为评委,第三方复现还要再等。声音复刻能力越强,冒用他人声音的风险也越高;企业接入 Pro Voice 前,至少要确认被复刻者的授权和留存策略。

via: Mistral AI:Voxtral 3