绕过文字这一步
现在主流的语音助手大多先把人说的话转成文字,交给语言模型处理,再把回答合成成语音;即便是端到端的语音模型,通常也建立在用海量文本预训练过的底座上。Block 10 月 23 日公布的 Dessa 走了另一条路:官方页面称它「从零开始,只用人类对话训练」,没有文本,也没有预训练模型,就像婴儿先听会说话、后来才识字。
Block 给出的理由是,语音转成文字会丢掉大量信息:语气、停顿、呼吸、讽刺、哽咽,同一句话重音落在不同的词上意思就不同。Dessa 是一个全双工的语音到语音模型,输入和输出都是声音,可以同时听和说;它从真实对话里学到什么时候该插话、什么时候用「yeah」「got it」这样的附和表示自己在听。官方称它推理速度快于实时,能在 MacBook Pro M4 Max 或更高配置上本地运行。
一台机柜、少几百倍的词
只靠声音学语言,数据效率是最大的难题。Block 在页面里解释:同一句话说两遍,录下来的数据也不一样;一个口语单词占用的字节数是文本的几千倍。按 Block 的说法,Dessa 学会语言所用的词量比大语言模型少几百倍——它自己也补了一句,这不完全可比,因为大语言模型还得学 C++ 这类内容。训练算力方面,Block 称整个模型只用一台 NVIDIA GB200 NVL72 就训练完成。
页面放出了十几段真人与 Dessa 的实时对话录音,Block 称没有人为引导,说什么、什么时候说、用什么声音和性格都由模型自己决定,字幕是事后加的。其中一段让 Dessa 和另一家公司的语音模型 GPT-Live-1 直接对话,页面注明那家开发商与 Block 无关,也没有审阅这段演示。
谁做的、现在能不能用
Dessa 出自 Block 内部一个「非常小」的 AI 研究实验室,成员来自多伦多深度学习创业公司 Dessa(模型因此得名),团队称已做了 8 年以上生成式语音模型,直接向 Block 联合创始人 Jack Dorsey 汇报。负责人 Ragavan Thurairatnam 在 X 上把这次发布称为语音领域的「GPT-3 时刻」(据 Unite.AI 转引)。
目前 Dessa 只是研究预览:普通用户可以加入候补名单,另有一小批 AI 安全研究者获得早期访问,用来找出团队没预料到的风险;页面没有提供公开 API、模型权重或可下载的应用。Block 也列出了几个尚未回答的研究问题:只靠语音学知识的效率和文本相比如何、学新语言要多少数据、能做哪些上下文学习。
需要注意,所有录音都是 Block 自己挑选发布的,「只用语音训练」和「少几百倍的词」也都是官方口径,训练数据规模和来源页面没有披露。它的事实知识、长对话稳定性和安全表现,要等研究者拿到访问权限后才有独立结论。
via: Block:Dessa - the Conversation Model trained only on speech、Unite.AI:Block Unveils Dessa, a Full-Duplex Speech Model Trained on Conversation