从文本走到图片和视频
Pangram 是一家以检测 AI 生成文本为主业的纽约初创公司。11 月 4 日,它在官方博客发布两款视觉检测模型:Pangram Image 1.0 负责图片,能输出热力图,标出一张真实照片里被 AI 改过或嵌入 AI 内容的位置;体积更小、速度更快的 Pangram Image Flash 1.0 主打视频,逐帧给出哪些片段被判为 AI。图片检测此前以研究预览形式上线过,这次是正式版,同时上线视频直接上传、Chrome 扩展内的图片检测和支持图片与视频的 API。据 Engadget,新功能面向付费订阅用户,免费账户可以先检查少量图片。
99.96% 是怎么测出来的
博客里最显眼的数字是 99.96%,口径需要看清:Pangram 选了 100 张真实照片,用 12 个前沿图像生成器、按贴近原图的提示词各生成一张「合成镜像」,共 1200 张合成图,Image 1.0 在这组自建测试集上达到 99.96% 准确率。Engadget 转述的另一组公司数据是:测试中能识别 99% 以上的 AI 图片,误报率为 0.27%。最小输入尺寸从 512×512 降到 256×256,但低于 512 时结果会附带「置信度降低」提示。
视频方面,Pangram 引用了 DF26 学术研究:人类区分真人讲话视频与 AI 视频的水平只比随机略好。公司称 Flash 1.0 在 DF26 上得分 98.7%,比次优检测器高 29 个百分点。它还自建了一套对比:取 129 条真实社交媒体视频,以首帧为起点、配合视觉语言模型生成的描述,让 14 个视频生成器各生成 100 条镜像,共 1529 条视频,与多家商用检测服务对比。
难点在手机相机
CEO Max Spero 对外解释,包括 iPhone 在内的大多数手机相机都会对真实照片做一定的 AI 后处理来补细节,模型必须分清这类后处理与 AI 编辑、完全 AI 生成之间的区别;Pangram 还因为模型起初把 iPhone 18 Pro 拍的照片判为 AI 而推迟了发布。
以上测试集与对比均由 Pangram 自行设计,暂未见独立评测。对内容审核、新闻核查、电商与租房平台来说,这类工具可以作为初筛信号之一,但「检测结果」本身不宜当作唯一证据,低分辨率和经过压缩的图片尤其如此。
via: Pangram:Introducing Pangram Image 1.0、Engadget:Pangram expands its AI detection tools to video and images