AI 文本检测公司 Pangram 推出 Image 1.0 与 Image Flash 1.0,检测扩到图片和视频;99.96% 准确率来自自建的 1200 张「镜像」测试集

以 AI 文本检测知名的纽约初创公司 Pangram 于 11 月 4 日发布 Pangram Image 1.0 和更小更快的 Pangram Image Flash 1.0,前者检测 AI 生成图片并用热力图标出 AI 内容所在区域,后者逐帧分析视频。公司用 12 个前沿图像生成器为 100 张真实照片各做一张提示词贴近原图的「镜像」,在这 1200 张合成图上测得 99.96% 准确率;据 Engadget,公司测试中可识别 99% 以上的 AI 图片、误报率 0.27%。最小输入尺寸从 512×512 降到 256×256,低于 512 时结果附带置信度降低提示。视频方面,Flash 1.0 在学术基准 DF26 上得分 98.7%,公司称比次优检测器高 29 个百分点。CEO Max Spero 提到,包括 iPhone 在内的手机相机会做 AI 后处理,模型一度把 iPhone 18 Pro 拍的照片判成 AI,发布因此推迟。新功能面向付费订阅用户,并已接入 Chrome 扩展和 API;以上测试均由 Pangram 自行设计。

从文本走到图片和视频

Pangram 是一家以检测 AI 生成文本为主业的纽约初创公司。11 月 4 日,它在官方博客发布两款视觉检测模型:Pangram Image 1.0 负责图片,能输出热力图,标出一张真实照片里被 AI 改过或嵌入 AI 内容的位置;体积更小、速度更快的 Pangram Image Flash 1.0 主打视频,逐帧给出哪些片段被判为 AI。图片检测此前以研究预览形式上线过,这次是正式版,同时上线视频直接上传、Chrome 扩展内的图片检测和支持图片与视频的 API。据 Engadget,新功能面向付费订阅用户,免费账户可以先检查少量图片。

99.96% 是怎么测出来的

博客里最显眼的数字是 99.96%,口径需要看清:Pangram 选了 100 张真实照片,用 12 个前沿图像生成器、按贴近原图的提示词各生成一张「合成镜像」,共 1200 张合成图,Image 1.0 在这组自建测试集上达到 99.96% 准确率。Engadget 转述的另一组公司数据是:测试中能识别 99% 以上的 AI 图片,误报率为 0.27%。最小输入尺寸从 512×512 降到 256×256,但低于 512 时结果会附带「置信度降低」提示。

视频方面,Pangram 引用了 DF26 学术研究:人类区分真人讲话视频与 AI 视频的水平只比随机略好。公司称 Flash 1.0 在 DF26 上得分 98.7%,比次优检测器高 29 个百分点。它还自建了一套对比:取 129 条真实社交媒体视频,以首帧为起点、配合视觉语言模型生成的描述,让 14 个视频生成器各生成 100 条镜像,共 1529 条视频,与多家商用检测服务对比。

难点在手机相机

CEO Max Spero 对外解释,包括 iPhone 在内的大多数手机相机都会对真实照片做一定的 AI 后处理来补细节,模型必须分清这类后处理与 AI 编辑、完全 AI 生成之间的区别;Pangram 还因为模型起初把 iPhone 18 Pro 拍的照片判为 AI 而推迟了发布。

以上测试集与对比均由 Pangram 自行设计,暂未见独立评测。对内容审核、新闻核查、电商与租房平台来说,这类工具可以作为初筛信号之一,但「检测结果」本身不宜当作唯一证据,低分辨率和经过压缩的图片尤其如此。

via: Pangram:Introducing Pangram Image 1.0、Engadget:Pangram expands its AI detection tools to video and images