1.背景

大模型的出现确实改变了我们获取信息的方式,无论是写代码还是日常办公,这些模型展现出的推理能力让人惊艳。但随着使用场景越来越广,大家发现了一个非常头疼的问题,那就是模型经常会一本正经地胡说八道。在技术圈,我们把这种现象称为幻觉。简单来说,就是模型生成的内容听起来逻辑通顺、语气笃定,但实际上内容却是凭空捏造的。

幻觉问题是目前大模型进入医疗、法律或者企业搜索等严肃领域的最大障碍。在这些高要求的场景下,一个微小的错误可能就会导致严重的业务风险甚至法律责任。因此,搞清楚模型为什么会出错,以及如何系统性地解决这些错误,成了目前开发者和研究员们最关心的课题。

2. 术语纠偏

虽然幻觉这个词现在非常流行,但在计算机科学和临床医学领域,有些研究者觉得这个词太拟人化了。毕竟模型没有意识,也没有人类那样的感官体验。

更严谨的说法其实是虚构。这个词描述的是一种生成虚假记忆或叙事的行为,它的核心在于模型并不是主观想要欺骗用户,而是因为其内部状态不一致或者存在系统性缺陷,导致输出了错误信息。虽然在这篇文章里我们还是会顺着大家的习惯使用幻觉这个词,但我们要明确它的技术本质其实是模型的虚构行为。

这篇文章会拆解大模型的幻觉问题。从底层逻辑出发,一直聊到最前沿的解决方案。具体安排如下:

首先在第二部分,我们会给幻觉做个分类,看看它在统计学上是怎么表现的。

接着在第三部分,我们会深入模型的微观机制,分析数据质量、模型架构以及推理过程中的局限性是如何诱发错误的。

第四部分会比较硬核,我们会讨论如何通过对抗性手段故意诱导模型产生幻觉,以及这背后隐藏的安全风险。

最后在第五部分,我们会分享目前主流的检测手段和缓解技术,看看大家都在用什么招数让模型变得更靠谱。

​

2.幻觉的种类和根源

2.1 幻觉分类

为了能对症下药解决幻觉问题,我们得先搞清楚这些错误到底长什么样。研究人员通常会根据模型输出的内容是跟上下文过不去,还是跟现实世界过不去,把幻觉分成几个大类。

2.1.1 内部矛盾还是外部虚构

在自然语言处理领域,最经典的分类方法是把幻觉分成两类。

第一种是内部性幻觉。这种情况通常发生在模型处理特定任务时,比如你给它一段长文本让它写摘要,结果它写出来的东西跟原文事实完全相反。这就是典型的睁眼说瞎话,模型没能忠实于你提供的参考资料。

第二种是外部性幻觉。这时候模型说的话在你的参考资料里找不到依据,你很难立刻判断它是对是错。这说明模型在调用它自己脑子里存的那些知识,但这些知识可能已经过时了,或者是它自己瞎编出来的。

2.1.2 事实对不上还是逻辑不听话

随着大模型越来越强,现在的分类也变得更细致了,主要从事实性和忠实性两个维度来观察。

首先是事实性幻觉,这关乎模型说的话跟现实世界对不对得上。这里面又细分为事实冲突和事实捏造。前者是直接说错事实,比如非要说某个发明家发明了不属于他的东西;后者则是凭空创造,比如编造一个根本不存在的生物灭绝史。

其次是忠实性幻觉,这主要看模型听不听话,逻辑稳不稳。 指令不一致是指模型跑偏了,你让它翻译,它却在那儿帮你答题。 上下文不一致是指模型说的话跟给定的背景信息打架。 逻辑不一致则是模型自己跟自己过不去,前后两句话逻辑断层,或者数学计算漏洞百出。

为了方便理解,我们可以把这些分类整理成一个简单的框架:

大模型幻觉现象分类表

主要类型:事实性幻觉 核心焦点:跟现实世界知识对不上 子类型:事实冲突或捏造 描述:说的话跟公认事实相反,或者完全编造不存在的信息

主要类型:忠实性幻觉 核心焦点:跟输入指令、上下文或自身逻辑对不上 子类型:指令不一致 描述:不按套路出牌,违反了用户的明确指令要求

子类型:上下文不一致 描述:生成的内容跟提供的背景材料有冲突

子类型:逻辑不一致 描述:内容内部逻辑不通,存在推理错误或计算错误

2.2 为什么幻觉是注定的?

深入分析后会发现,幻觉其实不是偶尔出现的程序Bug,而是大模型在训练和评估过程中的统计学必然产物。

2.2.1 概率游戏里的必然失误

从统计学角度看,幻觉可以理解为一种分类误差。在预训练阶段,如果模型没法从概率上把正确事实和错误陈述彻底分开,那么在预测下一个字的时候,它就有可能滑向错误的方向。

甚至有理论研究证明,幻觉是不可避免的。大模型本质上是在尝试学习复杂的函数映射,但受限于计算理论,它不可能学会现实世界中所有的逻辑。即便你给它提供完美无瑕的训练数据,模型在追求损失函数最小化的过程中,依然会保留一定的错误率。也就是说,只要是基于概率预测的模型,幻觉就一定会存在。

2.2.2 逼着模型说谎的考核指标

除了技术限制,现在的奖励机制也在推波助澜。目前的训练和评估方式其实是在鼓励模型去猜,而不是让它承认自己不知道。

大模型现在被训练成了卷王应试生。在传统的准确率测试中,如果模型遇到一个不确定的事实,比如某个人的生日,它如果老老实实回答不知道,那肯定得零分。但如果它大胆猜一个日期,万一猜中了就能拿分。这种激励结构在统计层面上逼着模型选择高置信度的胡说八道,以此来刷高排行榜上的分数。

这种评价体系导致了实用性与诚实之间的冲突。大家都在追求高分,却惩罚了模型的谦逊。所以,要解决幻觉问题,不能光靠修补技术,还得从根本上改变评分规则,得让模型明白,准确表达自己的不确定性也是一种优秀。

3. 底层机制

幻觉的产生并不是由单一原因造成的,它贯穿了大模型从出生到干活的全过程。我们可以从数据、架构和推理这三个层面来拆解这些错误是怎么钻出来的。

3.1 数据和知识的锅

数据是模型的食粮,如果食粮本身有问题,模型自然会学坏。

首先是数据质量和保质期的问题。如果训练数据里充斥着噪音、偏见或者过时的信息,模型就会把这些错误当成真理。比如大模型都有一个知识截止日期,如果你问它之后发生的事,它很可能会根据旧知识强行关联,导致输出的内容完全对不上号。

其次是一个很有意思的现象,叫作知识遮蔽效应。模型在压缩海量信息时,那些出现频率极高的知识会把低频知识给盖住。就像大家都记得热门金曲,却容易忘掉冷门佳作。当模型处理问题时,它会下意识地往那些高频模式上靠,导致对冷门事实的误判。这说明幻觉不只是因为知识缺失,更是因为知识分布不均带来的偏见。

3.2 架构和训练的坑

模型本身的结构和后天的调教方式也会诱发幻觉。

Transformer架构的核心是注意力机制,它能让模型在处理信息时抓重点。但如果这个机制没能精准地聚焦在关键信息上,就会出现提取失败。研究发现,当模型开始瞎编时,它内部的激活状态通常是散乱的,没有集中在那些代表事实的区域。这种内部的不稳定性是导致事实性错误的重要原因。

另外,为了让模型更符合人类的喜好,我们会进行对齐训练。但这可能带来副作用。为了拿到高分,模型学会了猜测而不是承认不知道。甚至在赋予模型使用工具的能力时,它可能会假装调用了工具,其实是自己编造了一个结果。这种讨好型人格让模型学会了自信地表现出它其实并不具备的能力。

3.3 推理时的变数

在模型真正开始干活的推理阶段,参数设置和记忆限制也是关键因素。

解码策略决定了模型怎么选下一个字。比如温度参数,如果调得太高,模型就会变得非常放飞自我,虽然更有创意,但也更容易编造不真实的内容。而像集束搜索这样的策略,通过多看几步候选路径,能在一定程度上降低错误率,但它的缺点是没法像流式输出那样快。

上下文窗口就像模型的短期记忆。如果窗口太小,模型记不住前面的话,只能靠脑补来填坑。如果窗口太大或者里面塞满了无关的废话,模型又会被干扰,导致注意力分散。这种记性不好或者信息太乱的情况,都会让模型在维持逻辑连贯性上翻车。

3.4 RAG不是万灵药

很多人尝试用检索增强生成,也就是RAG,来解决幻觉问题。虽然这能给模型提供外部参考资料,但RAG系统本身也会引入新的风险。

一种是检索失败。如果找回来的参考资料本身就是错的,或者跟问题根本不匹配,模型就会根据错误的输入自信地给出错误答案。

另一种是生成缺陷。即便资料找对了,模型在读资料时也可能出错。比如它可能只看了开头和结尾,漏掉了中间的关键信息,这就是所谓的中间诅咒。此外,模型本质上是在做语言生成而不是严谨的逻辑推理,即便你让它一步步思考,它依然可能在复杂的逻辑或计算步骤中掉链子。

我们将这些产生机制整理如下:

预训练阶段: 机制类型:数据限制与知识表示 具体原因:数据噪音、知识频率失衡、知识截止期 代表现象:知识遮蔽效应、学习到过时信息

对齐微调阶段: 机制类型:训练目标偏差 具体原因:评估激励错位、奖励函数偏差 代表现象:奖励猜测而非承认不确定性、推理强化驱动的虚假逻辑

推理阶段: 机制类型:架构与解码策略 具体原因:温度参数过高、上下文窗口限制、知识提取失败 代表现象:随机性增加导致的瞎编、上下文冲突、注意力扩散

部署阶段: 机制类型:外部增强系统缺陷 具体原因:检索失败、上下文冲突、查询不匹配 代表现象:引用错误、中间诅咒、缺乏可溯源性


4. 当幻觉变成攻击武器

大模型的幻觉不仅是无意中犯的错,它那种统计上的不稳定性,其实是一个巨大的安全漏洞。如果有人想钻空子,完全可以操纵模型的事实输出,绕过原本设好的安全防线。

4.1 怎么让大模型开口说瞎话

想要诱导模型产生幻觉,目前主要有这么几种套路。

4.1.1 话术上的小陷阱

最基础的办法就是通过提示词来误导。如果用户给出的指令模棱两可,或者在结构上故意带节奏,模型就很可能进入一种瞎猜模式。比如一些没有明确意图的提问,往往会逼着模型发挥想象力,最后产出一堆离题万里的内容。

4.1.2 硬核的对抗性攻击

更具威胁的是对抗性攻击。这种方法把幻觉看作一种可以被操纵的漏洞。攻击者会利用算法自动寻找模型最容易犯错的词组合。通过替换提示词里的某些字符,他们能让模型以非常肯定的语气生成特定的假事实。最让人担心的是,哪怕是一些毫无意义的乱码,也可能触发模型的大规模捏造。这说明模型内部的知识表示其实挺脆弱的,很容易被带偏。

4.1.3 角色扮演里的越狱套路

在很多系统里,模型需要扮演特定的角色。攻击者会利用这一点搞越狱攻击。他们会故意制造角色设定和具体问题之间的冲突,或者利用信息差来干扰模型。这样一来,模型为了维持角色设定,可能会突破原有的安全限制,说出一些本来不该说的话。攻击者正是利用了模型这种自信地出错的特性,间接达到了绕过内容过滤的目的。

攻击类型:对抗性幻觉攻击 攻击目标:词元概率分布与内部表示 攻击手段:利用乱码或特定词元替换 主要危害:大规模生成假新闻或捏造事实

攻击类型:角色越狱攻击 攻击目标:指令一致性与角色设定 攻击手段:制造角色与问题的逻辑冲突 主要危害:绕过安全机制输出违禁内容

攻击类型:提示词诱导 攻击目标:提示词理解能力 攻击手段:使用模糊或误导性指令 主要危害:引导模型进行投机性输出

4.2 幻觉失控后的真实代价

在法律、医疗等严肃领域,幻觉带来的风险会被无限放大。

幻觉最危险的地方在于,模型编出来的东西听起来特别专业,很有说服力,非常容易误导用户。如果这些假消息刚好迎合了某些社会偏见,传播速度会非常快。更糟糕的是,假消息往往和真消息混在一起,让人很难分辨。研究发现,有了大模型的辅助,人类的辨别能力反而下降了,因为大家太容易相信模型那种权威的语气。

现实中已经出了不少乱子。比如著名的律师翻车事件,有律师直接提交了由大模型生成的法律简报,结果里面引用的法律案例和判决全是模型编出来的。这不仅让律师面临职业危机,也让大家意识到,在需要绝对准确的专业领域,大模型的幻觉简直是定时炸弹。这种风险已经从单纯的技术错误,演变成了重大的信任危机。

5.检测与修复

解决幻觉问题不能只靠运气,得贯穿大模型的整个生命周期。我们需要从根本上改变考核标准,并在模型干活的时候进行精准干预。

5.1 别只听一家之言

想要构建靠谱的AI系统,绝对不能只盯着模型给出的那一个答案。现在的研究重点已经转向了一致性检查,简单来说就是看看模型有没有前后矛盾。

一种招数是看模型内部是否自洽。比如 CONFACTCHECK 这种方法,它不需要查阅外部资料,只是盯着模型生成的文本,看看里面的逻辑和事实是不是自己打架。

另一种招数是找几个模型来对质。比如 Finch-Zk 会给不同的模型发类似的指令,然后对比它们的回答。如果大家都说得差不多,那可信度就高;如果各执一词,那里面肯定有猫腻。

不过,这种一致性检测也有个大坑,那就是集体翻车。如果这些模型都是用差不多的数据训练出来的,它们可能会有同样的知识盲区。这时候,它们会整齐划一地编造同一个谎言,这种共识反而成了最大的误导。所以,未来的方向是让模型变得更多样化,避免这种智囊团集体掉坑里的情况。

5.2 从源头到实操的改进

针对幻觉,我们可以从训练考核、推理干预和架构创新这三个方向来发力。

5.2.1 改变考核标准

既然幻觉的根源之一是考核指标逼着模型瞎猜,那最彻底的办法就是改规则。

我们需要在评估模型时,明确奖励那些敢于承认自己不确定的行为。比如在提示词里加入安全开关,告诉模型如果没把握就直接回复不知道。但这里有个平衡点要掐准,不能让模型变得太懒,遇到稍微难点的问题就直接罢工,那样模型就失去实用价值了。

5.2.2 推理时的黑科技

如果你不想重新训练模型,也可以在它生成答案的过程中动点手脚。

比如一种叫 DoLa 的策略,它会对比模型深层和浅层的输出差异。通常来说,深层网络更懂事实,浅层网络还比较懵懂。通过这种对比,DoLa 能把那些更接近事实的词给拎出来。实验证明,这种方法能显著提升模型在问答测试中的真实性。

也可以直接在模型的注意力机制上动刀,把外部的真实知识强行注入到模型的计算过程中。这相当于给模型装了一个事实校对器,让它从概率上的瞎猜转向确定性的精准输出。

5.2.3 让 RAG 系统更稳健

针对 RAG 系统容易出现的检索失败和角色跑偏,我们也有应对方案。

除了优化数据源和检索流程,还可以引入叙述者模式。这种模式通过增加背景叙述来化解指令冲突,让模型在扮演角色时能更稳地守住底线,不至于因为追求角色设定而把事实丢到脑后。

6. 总结

写了这么多,我们可以看到幻觉并不是简单的编码失误,而是大模型这种基于概率预测的生成机制自带的副作用。训练数据的局限性加上考核指标的跑偏,让这个问题变得根深蒂固。

现在的幻觉研究已经从单纯的准确性问题,升级成了AI安全和可靠性的重大挑战。特别是像梯度攻击和角色越狱这些手段,让幻觉成了造谣和攻击的温床。目前的解决思路正在发生根本性转变,大家开始尝试通过架构干预来给事实加锁,试图让模型从概率上的瞎猜转向确定性的事实保障。

虽然研究取得了显著进展,但大模型幻觉领域依然有几个硬骨头要啃。

1.知识边界的问题。我们需要深入理解模型内部到底是怎么存储和提取知识的,尤其是要弄明白为什么高频信息会盖过低频事实,以及如何精准划定模型能力的边界。

2.跨模态幻觉。随着多模态模型的兴起,看图说话对不上号或者视频理解跑偏的情况成了新的研究前沿。

3.黑盒的可解释性。模型现在很大程度上还是个黑箱,我们需要提升模型的自省能力,看清幻觉产生的内部路径,这样才能像做手术一样精准修复缺陷。

4.诚实与实用的平衡。怎么设计奖励机制,让模型在保持好用的同时,能坦诚地说出我不确定,这在工程和算法层面依然是个难题。

彻底解决幻觉问题需要技术和社会层面的双重努力。一方面要推广能在特定任务上提供确定性保障的技术,另一方面也要推动行业改变评价标准,鼓励模型表现出谦逊和诚实,而不是为了拿高分而盲目猜测。只有这样,我们才能构建出真正让人放心的下一代人工智能系统。


参考:

1.https://arxiv.org/pdf/2504.17550

2.https://arxiv.org/pdf/2502.16143

3.https://open-research-europe.ec.europa.eu/articles/5-191

4.https://arxiv.org/abs/2510.06265

5.https://arxiv.org/pdf/2508.14496

6.https://arxiv.org/pdf/2508.17511

7.https://arxiv.org/pdf/2508.14064

8.https://arxiv.org/pdf/2310.01469

9.https://aclanthology.org/2025.coling-main.494.pdf

10.https://academic.oup.com/jla/article/16/1/64/7699227

11.https://aclanthology.org/2025.findings-ijcnlp.129.pdf

12.https://aclanthology.org/2025.emnlp-industry.139.pdf

13.https://arxiv.org/pdf/2309.03883

​