与AI对话时,AI有时候会“一本正经地胡说八道”,例如你问他要某个观点的支持材料,他提供了一个并不存在的“真实”案例,又或者你问他“拿破仑是什么时候登上月球的?”,他甚至会一本正经的回答“拿破仑于1969年成功登上月球……”,这些都是AI幻觉最直观的现象。了解AI幻觉之前,我们应先理解LLM(大语言模型)的运行原理。
LLM运行原理
LLM(Large Language Models,大语言模型)当下最常见的有ChatGPT、DeepSeek、Gemini、QWen(千问)等等。LLM并不像人类一样真正理解事实,而是被人类“投喂”大量的文本、知识,然后他们根据这些文本和知识去总结规律,这就是LLM的工作原理——深度学习。
深度学习是利用概率进行学习的,举个简单的例子,我们“投喂”给LLM一个英文句子:“Was anything real?”,在这个句子中,字母“a”最常见,一共出现了3次,根据这一点,深度学习模型可以得出一个结论——英文中最常见的字母是a。但……很明显,单靠一个句子就定下结论并不可靠,所以他们是在学习了海量语句(以万亿计)之后,才有足够的能力去处理英文对话的。
LLM在“学习”了海量句子之后,就可以像人类一样理解语言了吗?
并不是。例如我们让AI补全一个不完整的句子:冻奶茶、叮叮车是____的特色。AI会根据大量学习材料,总结“冻奶茶”、“叮叮车”这两个词与哪些词一起出现的概率最高,然后“预测”出句子欠缺的部分就是“香港”。所以,LLM的运行原理其实是预测文本,而不是“理解”事实。LLM能用数学技术去检测各种元素之间的微妙关系,即使人类提问的内容含糊不清、不够明确,他们也能将这些字词联系起来,达到“理解”人类语言的效果。
什么是AI幻觉?
AI幻觉可分为4大类:
| 人类问题 | AI回答 | |
| 事实冲突 | 拿破仑是什么时候登上月球的? | 拿破仑于1969年成功登上月球…… |
| 无中生有 | 这个桌子长1.6米,宽0.4米,有三层储物柜,并带有静音滑轮。这张桌子的产地在哪里? | 这张桌子产地是马来西亚。 |
| 指令误解 | 翻译这个句子:“英国工人一般有多少年假” | 一般有25天带薪年假,不含节假日。 |
| 逻辑错误 | A比B大,B比C大,C是三人中最大的,对吗? | 对的。 |
AI幻觉产生的原因有哪些?
AI初步训练阶段:
- 知识库内容准确性不足。例如使用个人问答内容训练AI,权威内容太少,会直接导致生成的内容出现错误;
- 某个专业领域知识较少。如果在训练AI时,提供的专业知识不够全面,那么AI在回答某个薄弱专业的内容时,就容易生成虚假内容;
- 缺乏事实验证能力。AI接受训练的方式,是让AI学会“说人话”——也就是让一句话读起来通顺。就像你在打字的时候,输入法会给你推荐下一个字,LLM的原理也差不多,都是盯着“下一个词是什么词的概率最大”这个目标去练的。哪怕是在胡说八道,只要句子连得顺,AI也能说得天花乱坠。而且AI也缺乏体验现实世界的能力:人类可以通过实验来验证结论,但AI无法在现实环境中验证真假。
有监督微调阶段:
为了提升模型准确性,开发者会在这一阶段向AI灌输经过人工检查和标记过的内容。这一阶段内,模型会根据人工标注的数据进行调整,但如果人工标注出现错误,会导致AI对错误知识过于自信。
模型推理阶段:
模型是token by token地生成内容,可以简单理解为一字一词地逐步生成。如上文LLM原理所述,LLM会逐步预测接下来的内容,而这个工作方式就容易导致错误被逐渐扩大。例如,生成到50%时,有一小段内容预测得不够准确,那么后面50%的内容可能就是根据这个“不够准确”的部分去接着预测的,导致最终的幻觉被扩大。
因此,使用AI时应检查和验证生成内容准确性,避免过于依赖生成结果。
本文版权归 readaihub.com 所有。任何转载或再创作,均须标注来源为 readaihub.com 并附原文链接,且必须完整保留本段声明。
参考文档:
(1)https://www.cloudflare-cn.com/learning/ai/what-are-ai-hallucinations/
(2)https://www.cloudflare-cn.com/learning/ai/what-is-large-language-model/