Cohere 为企业搜索平台 Compass 加入视频检索预览:同时理解语音和画面,返回带时间戳的片段,目前只向受邀设计合作伙伴开放

1 查看

Cohere 11 月 16 日介绍 Compass 的视频检索功能 Video Intelligence,目前为预览版,正在招募设计合作伙伴。它为录像生成转录和画面描述,按查询现场确定片段起止时间,结果附时间戳、转录和画面描述,并可与相关文档一起返回。Cohere 自测 11 个数据集、11,133 条查询,nDCG@10 平均 0.69,比所测其他视频嵌入模型中的最高者高 4.4 分;文中对内部数据集数量的说法前后不一。

片段长度在搜索时才决定

Cohere 11 月 16 日介绍 Compass 的 Video Intelligence 预览。系统为录像生成逐字转录和画面描述,因此讲解者只说「看这里」、真正的数字显示在幻灯片或图表上时,也能被检索到。结果不是预先切好的固定段落,起止时间在搜索时按查询确定,每条附时间戳、转录和画面描述,并链接回原片;匹配的文档页面、幻灯片和表格可以与视频片段一起返回。Cohere 举的例子是足球比赛:单帧只能看到球员离场,连起来看一段才知道他是被罚下。

自测成绩怎么读

Cohere 用 nDCG@10 指标,把 Compass 与七个视频嵌入模型在 11 个数据集、11,133 条查询上对比,Compass 平均 0.69,比其他模型中的最高者高 4.4 分。分项看,在六个公开数据集上比 Amazon Nova Multimodal Embeddings 高 2.4 分,在足球转播素材上比 Gemini Embedding 2 高 5.1 分,在会议、讲座和安全培训录像上比 Qwen3-VL-Embedding-8B 高 2.0 分。这是厂商自选数据集上的结果,文中正文与图注对内部数据集的构成说法不一致。

现在谁能用

预览只对受邀的设计合作伙伴开放,Cohere 会派搜索团队直接支持,可部署在 Cohere 托管云或客户自己的环境中,检索按用户权限过滤。页面没有写明支持的视频格式、时长上限和索引所用模型。

via: Cohere Blog:Video Intelligence in Compass 预览