Hallucination 在 AI 语境里常译作“幻觉”。它指模型生成了看起来流畅、自信、像真的内容,但这些内容实际上是错误的、编造的、无依据的,或与给定资料不一致。
这个词不表示模型真的产生了人类意义上的幻觉。它只是一个比喻,用来描述生成式 AI 一本正经地说错话的现象。
先用一句话抓住它
AI 幻觉是模型生成了看似合理但不真实、不准确或缺乏依据的内容。
生活里的类比,是一个人没有查资料,却凭印象补全答案,而且语气非常自然。
为什么会发生
生成式模型的目标通常是根据上下文生成最可能的内容,而不是天然保证每句话都是真实事实。当问题缺少信息、资料冲突、提示词模糊或模型没有相关知识时,它可能会用语言模式补出一个看似合理的答案。
flowchart LR
Question["问题"] --> Model["生成式模型"]
Missing["缺少资料 / 资料过时 / 指令模糊"] --> Model
Model --> Fluent["流畅回答"]
Fluent --> Risk["可能包含错误或编造内容"]幻觉常见在引用、数字、日期、代码和专业细节里。模型可能编造不存在的论文、链接、书名、人物或机构,也可能把来源内容解释错,或者在不知道答案时仍然强行回答。代码生成里也会出现类似现象:函数名、库用法和参数看起来像真的,但运行时并不存在。
为什么它危险
普通错误通常比较容易识别,比如资料过时、输入有误或计算失误。AI 幻觉麻烦的地方在于,它常常语言流畅、结构完整、语气自信,让人第一眼不容易发现。
这也是生成式 AI 和普通搜索不同的地方。搜索结果至少会把网页列出来,用户可以自己判断来源;模型回答则可能直接给出一个包装好的结论。如果这个结论没有依据,却被当成事实使用,就会带来风险。
怎么降低幻觉
降低幻觉的核心办法,是让模型少凭空补全,多基于可靠资料回答。提供清楚上下文、使用 RAG 检索资料、要求引用来源、明确允许模型说“不知道”,都能降低风险。
任务也可以拆开做。比如先让模型从资料里提取事实,再让它基于事实总结;先让它列出依据,再让它给结论。对于关键数字、引用、政策、医学、法律和金融信息,人工核查仍然不可省。
容易误解的地方
更强的模型可以减少幻觉,但不能彻底消除幻觉。有引用也不等于一定可靠,因为引用可能不相关、解释错误,甚至被编造。RAG 也不是万能药,如果检索到的资料错了、过时了,模型仍然可能基于错误资料生成错误答案。
还有一个误区是以为幻觉只发生在文本里。图像理解、代码生成、数据分析、表格解释都可能出现类似问题。本质上,只要模型在证据不足时生成了看似合理的内容,就需要警惕。
怎么判断它该不该用
对低风险任务,幻觉可能只是需要编辑;对高风险任务,幻觉可能造成实际损失。医疗、法律、金融、招聘、安全和公共政策等场景,不能把模型输出当作最终结论。
最稳妥的做法是让模型说明依据,把事实和推理分开,标出不确定性,并由人检查关键结果。