追了 1285 个 AI 引用的统计数字:只有约四成能追到说法一致的原始研究,五家 AI 助手都说的「44% 销售跟进一次就放弃」找不到出处

AI 搜索监测公司 Trakkr 10 月 28 日发布研究:向 ChatGPT、Perplexity、Gemini、Claude 和 Google AI 概览各问了 200 个需要给出数字的问题,随机抽取它们引用的 1,285 个统计数字,沿引用链最多追五层。经人工抽查校正后,40%(95% 区间 34%–46%)追到了说法一致的研究,8% 追到了研究但数字或语境已被改动,40% 停在无法核对的来源(付费墙、页面消失或原文没有这个数),11% 一路都没有研究。AI 并不常编数字:首个被引页面 82% 的情况下确有该数字,但只有 21% 是原始研究,54% 的首个引用是企业博客,从企业博客出发只有 37% 能追到出处,从研究机构或政府页面出发约 61%–62%。ChatGPT 每个回答平均只引用 1.3 个数字,Claude 为 6.8 个。研究中的典型「僵尸数据」是「44% 的销售人员跟进一次就放弃」,五家都给出了这个数字,只有 ChatGPT 提示证据不明。

研究怎么做的

问 AI「有多少销售人员跟进一次就放弃」,ChatGPT、Perplexity、Gemini、Claude 和 Google AI 概览给出的都是 44%。AI 搜索监测公司 Trakkr 顺着 Google AI 概览给的引用往下点:一家销售公司 2020 年的统计页,它的「来源」链接指向一位自由撰稿人的样稿,样稿只列了两份幻灯片、一篇博客清单和两篇新闻,没有一项是关于跟进的研究。Trakkr 试遍了能找到的其他路径,都停在一个不引用任何研究的页面上。它把这类被反复转述却没有研究支撑的数字叫作「僵尸数据」。

10 月 28 日发布的这项研究把同样的方法放大:向五家 AI 助手各问 200 个需要给出数字的问题,从它们引用的统计数字中随机抽取 1,285 个(ChatGPT 108 个,Perplexity 277 个,Gemini、Claude、Google AI 概览各 300 个),沿被引页面及其来源最多追五层。每条链先由一个模型判定、再由更强的模型复判 300 条,最后人工随机复核 150 条并据此校正比例。

结果

  • 40%(95% 区间 34%–46%)追到了说法一致的研究;
  • 8% 追到了研究,但数字、调查对象、地点或年份已经变了;
  • 40% 停在无法核对的来源:付费墙、页面已失效,或者原文里根本没有这个数;
  • 11% 整条链上都没有研究,每个页面都在重复这个数、却不注明出处。

分助手看,ChatGPT 表现最好,引用的数字也最少,平均每个回答 1.3 个,Claude 为 6.8 个;其余四家落在 38%–46% 之间,差距在误差范围内,无法排名。为排除选题偏差,Trakkr 还从 Google AI 概览对 52,930 个真实日常搜索的回答中抽了 300 个统计数字,结果同样是 40% 有出处。

问题出在引用链,不在 AI 编造

AI 大多没有凭空编数字:首个被引页面 82% 的情况下确实写着这个数。但只有 21% 的首个被引页面是原始研究,54% 是企业博客,其余多是新闻和「统计汇总」类页面。起点决定了结局:从研究机构或政府页面出发,61%–62% 能追到一致的研究;从企业博客出发只有 37%,从统计汇总页出发 35%。追到研究的那些里,也有 17% 在转述中走了样,其中数字本身变动的约占四分之一,更多是语境被改,比如一项 2004 年 15 名女性评价健康网站的研究,被转成了「用户对所有网站的第一印象」。

Trakkr 的结论是:引用告诉你 AI 在哪里看到了这个数,不代表这个数从哪里来。需要注意的是,这是一家做 AI 搜索可见度生意的公司发布的研究,问题集由它设计,链条判定也以模型为主、人工抽查为辅;但方法和区间都写得清楚。对写报告、做选题的人,这意味着 AI 给出的数字至少要点到原始研究那一层再用。

via: Trakkr Research:Zombie stats: Where the numbers AI quotes come from