量子位 昨天
AI幻觉最可怕的人类副作用出现了
index.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

最新研究发现,AI 幻觉不只会骗你了,还能喂大你的自信心、削弱你的判断力。

这可不妙。

最近,一项来自巴黎高师、罗马第一大学、米兰比可卡大学的研究发现:

没有 AI 时,人们会更爽快地承认 " 我不知道 ",先把判断放一放;

但 AI 一出现,哪怕人们明明知道它会犯错,哪怕知道答错还要受罚,大部分人还是会选择把它给出的答案照单全收,当成是自己的判断并自信地说出口。

实验结果也清晰地呈现了这一趋势:在首个未使用 AI 的实验中,坦言 " 我不知道 " 的人数占比为 44%,正确率为 27%;

使用 AI 辅助后,人们说不知道的比例从 44% 骤降至了 3%正确率从 27% 跌至了 9%自信心却从 30% 飙到了 76%

即便后续实验试图通过" 答对给钱、答错罚钱 "这种奖惩机制鼓励大家保持独立判断,并纠正这一倾向,但人们仍然难以摆脱对 AI 错误建议的依赖。

也就是说,不懂的人并未真正消失,取而代之的是一群在 AI 的加持下变得自信满满,并给出错误答案的人。

目前,相关研究成果已发表在 arxiv 上,团队一共做了 5 个实验,参与者总数达 3132 人,其中 4 个实验预注册,1 个是直接复现实验。

90% 正确 +10% 致命错误≠可信任

这项研究关注的是"AI 对人类判断能力的影响。"

研究者 Valerio Capraro 在接受采访时表示:

对人类来说,说出 " 我不知道 " 非常重要,因为这代表我们能意识到自己知识的边界。

但现在,有了 AI 之后,几乎任何问题都能立刻得到一个流畅答案。

于是问题来了,这会不会干扰人类原本的判断能力?也就是在不确定时,先不急着下结论?

为此,研究团队专门设计了一组大语言模型容易答错的问题。

不是数学推理题,也不是常识题,而是电影里的视觉细节题

比如《我爱贝克汉姆》里球队队服是什么颜色?《布达佩斯大饭店》里 Agatha 的标志性发型是什么?or《高速路上一只猫》里 Monica 开的是什么车等等。

你有印象吗?我反正是愣了大半天没想起来,这也太刁钻了!谁记得住啊……(摊手)

对 AI 而言,它也会觉得非常头疼,因为这些题的答案往往不在常规文本资料里模型训练数据里大概率也没有这些视觉细节。

研究者先测试了实验中使用的模型Step 3.5 Flash,结果符合预期——它通常会答错。

此外,他们还测试了更多前沿的模型,包括GPT-5.5Claude Sonnet 4.6以及Gemini 3.5 Flash

这些前沿模型确实在部分题目上表现更好,比如《布达佩斯大饭店》里 Agatha 的标志性发型,GPT-5.5、Gemini 3.5 Flash 和 Claude Sonnet 4.6 都能答出正确方向:crown braid、milkmaid braid;也就是环绕头顶的编发。

GPT-5.5

Gemini3.5 Flash

Claude Sonnet4.6

再比如《我爱贝克汉姆》里球队队服颜色,它们也大多能抓到白色、红色这些关键信息。

但一到更依赖具体画面记忆、网上文本资料覆盖更少的问题,模型就开始集体翻车,而且翻得各有各的精彩。

最典型的是《高速路上一只猫》里 Monica 开的车。正确答案是 2008 款蓝色 Toyota Aygo。

GPT-5.5 把它说成了小踏板摩托,并补充了 " 她骑着它在罗马郊区穿梭,后来开了披萨店后也用它来送外卖。" 的故事情节以及 " 朴素、工薪阶层的生活方式与 Giovanni 富裕都市生活之间的反差 " 等设定。

看上去逻辑严谨,合情合理,但这其实完全是模型为了让你觉得合理,一本正经凭空瞎编的!(被骗了吧 hhh)

Gemini 3.5 Flash 则说她主要坐公交、没有自己的车,各种细节错的更没边了且很难察觉(比如 Monica 并没有通常坐 Sergio 的车这种规律性设定,模型把零散的蹭车情节归纳成了一个不存在的常态):

太坑了,我都差点信了

Claude Sonnet 4.6则根据互联网汽车数据库推成了 2016 Toyota Auris Touring Sports Hybrid:

Fine ……

Step 3.5 Flash则放弃了伪装,直接答成了 2007 款 Fiat500(一眼假好吗喂!)。

这些答案的问题不只是错,还错得很像真的,让人难以分辨!

它们不仅仅是简单的不知道,它们还会通过 " 虚构人物设定、捏造剧情逻辑、补充车辆用途 " 把错误答案讲得很完整,听起来都很有理有据,但核心事实是错的。

这正是 AI 幻觉最危险的地方——明明核心事实才是最关键的 point,它却用流畅的表达掩盖了自己的无知与错误,让你误以为它什么都懂。

AI 一出手," 我不知道 " 直接消失了一大半

实验主要由更轻量的 Step 3.5 Flash 完成,没有都选择 Claude、GPT 等顶尖模型。

设计 6 道电影细节题,是研究设计里很关键的一点,因为很多人都知道这类问题 AI 本来就经常答错、不靠谱。

研究人员称,他们这么做是为了排除一种解释,即 " 人们听 AI 的,是因为 AI 真的靠谱。"

如果人们明知道这些答案 AI 本来就经常答错,但还是照着 AI 回答,那问题就不只是 " 合理外包判断 ",而是" 判断能力真的被 AI 压下去了 "。

研究一共分成5 轮

前两轮实验,主要看 AI 建议是否会影响 " 我不知道 " 的比例。

Study 1a中,314 名参与者被分成两组回答 6 道电影细节题。(一组没有 AI,另一组可以选择是否向 AI 求助。)

结果很明显:没有 AI 时,参与者选择暂不下判断的比例是 36%;有 AI 可用时,这个比例降到了 6%。

也就是说,只要可以问 AI,人们就明显不愿意说不知道了。

不过,研究者担心这里有个技术干扰,因为 Study 1a 里,AI 工具大约有 10% 的请求没有正常响应。

所以他们又做了Study 1b

这次研究者们不再实时调用 AI,而是提前生成好 AI 答案,确保每个求助者都能看到完整回答。

结果复现了,没有 AI 时,44% 的人会说 " 我不知道 ";有 AI 时,只剩 3%。

Capraro 把这个现象称为" 核查悬置崩塌了。"(被 AI 的一本正经忽悠了,忘了去检查它的大前提和各种设定对不对。)

正确率崩了,自信却飞升了,给钱也救不回来

接下来,研究者继续问:如果答错会有代价,人们会不会谨慎一点?

于是Study 2引入了金钱奖惩规则。

这一轮共有 812 名参与者参与,分成了 4 组:有无 AI 建议;有无金钱奖惩。

规则是,答对一题奖励 0.1 美元(约合人民币 0.73 元),答错扣 0.1 美元,说不知道不奖不扣。

按理说,虽然钱不算多,但毕竟答错有成本,人应该更谨慎。

结果却显示,钱确实有一点帮助,但还远远不够抵消 AI 的影响:

没有金钱奖惩规则时,AI 可用会让 " 我不知道 " 的比例从17%降到1%

有金钱奖惩规则时,AI 可用仍然会让这个比例从21%降到2%

换句话说:实验结果表明,就算人们知道答错要扣钱,知道 AI 在这类问题上不怎么靠谱,大部分人还是会选择相信 AI 答案,而不是自己的判断。

更关键的是正确率

没有 AI 时,正确率大约是28%;有 AI 时,正确率只剩10%

这证明有一部分人可能明明知道 AI 存在幻觉,却仍采取了 AI 给的答案。

引入金钱奖惩规则后,正确率有所提升:

没有 AI 时,从 28% 到 33%;有 AI 时,从 10% 到 17%。

虽然有 AI 组的正确率依然明显低于无 AI 组,不过,这一规则也并非是毫无作用,它至少让人们减少了一点向 AI 求助的次数:

数据显示,在有奖励的条件下,参与者向 AI 寻求建议的平均次数从5.44 次降到了4.93 次

也就是说,钱能让人稍微少信少用 AI 一点,但并不能让人完全摆脱 AI 错误建议的牵引,且很难把人重新拉回谨慎判断的状态。

最值得深思的是 AI 回答错误条件下人们膨胀的自信心

没有 AI、没有奖罚钱规则时,参与者的平均信心是29.6%

有 AI 后,参与者的信心直接飙到了75.9%;另外,在有金钱奖惩规则的情况下,AI 组的信心也有73.5%

对此,论文里的概括非常直接:AI 让人更有把握,却未必更准确。

自动弹出的 AI 建议,同样会带偏人

AI 正以前所未有的速度融入日常,一个明显的变化是现在很多的 AI 建议往往不是我们主动问来的,而是它自己 " 凑 " 上来的。

最典型的场景就是刷热搜

以前点进一个话题,还得自己顺着评论区、媒体报道、当事人回应一路摸过去,边看边拼时间线,顺便吃几口跑偏的瓜。

现在不一样了,你刚点进去,AI 生成的摘要已经顶在最显眼的位置。

发生了什么、谁说了什么、争议点在哪、后续进展如何,全都给你捋好了,甚至还附上了新闻源链接。

确实省事,但也有点微妙…… .

它把信息整理得越清楚,我们自己探索来龙去脉的过程就越短,以前那种到处翻找、自己判断、顺手发现意外细节的乐子,好像也被一起压缩掉了。

写东西时字还没敲两行AI 补全的句子或是提示就已经跟在光标后面了。

所以Study 4做了一个更贴近现实的设计:不再让参与者选择是否问 AI,而是直接把 AI 建议自动展示在题目旁边。

这一轮有 853 名参与者,实验结果和前面基本一致。

没有金钱奖惩规则时,AI 的自动出现会让 " 我不知道 " 的比例从 35% 降到 1%,有规则时,从 39% 降到 7%。

正确率也继续受影响:没有 AI 时,正确率约为 27%,有 AI、没有激励时,正确率只有 7%。

有 AI、加上激励后,正确率提升到了14%

这说明,即便人没有主动求助 AI,只是被动看到 AI 建议,也会被强烈影响。

这是一个必须警惕的信号—— AI 正悄然重塑我们的判断习惯。

它不再只是那个等你主动打开聊天框才回应的工具,而是变成了系统默认塞给你的 " 标准答案 "。

它可能出现在搜索页顶部。

出现在邮件草稿里。

出现在文档侧边栏。

出现在学习软件、办公系统、浏览器插件里。

一旦答案默认摆在眼前,人类的判断过程就已经被改写了;但最可怕的是,我们竟对此习以为常。

为什么会这样?

论文里用了一个词:epistemia(认知惰性)

可以理解为,人们会因为 AI 答案看起来流畅、完整、有条理,就接受它的表面可信度,而不是进一步验证。

大语言模型有一个根本特点,即它总要生成点什么。面对自己不知道的问题,它也很少真正停下来。

它可以说得很像真的。但如果我们真的选择把判断权交给这样的系统,就可能会继承它 " 不暂停 " 的习惯。

论文给出的一种解释是"AI 给出的流畅答案,会降低人类决定‘我知道得足够多,可以回答了’的门槛。"

原本你可能会想:" 这题我不知道、没把握,算了…… . 我需要去弄明白才能回答。"

但 AI 给你一段看起来很确定的话之后,心理门槛就变成了" 既然它都这么说了,那我也可以答。"

于是," 我不知道 " 和 " 求索过程 " 被省略,并被替换成了一个 " 标准但错误的答案 ",而且这个错误答案还赋予了你本该通过反复求索和求证才能产生的高自信感。

就算答错要罚钱,人也只是稍微警惕些,没法彻底改掉太信任 AI 的习惯,结果华丽丽被带偏。

问题不只是 AI 会错,而是 AI 可能会改变我们的元认知阈值

这项研究真正提醒我们的,其实不是 "AI 会幻觉 ",这事儿早已不新鲜;而是一个值得警惕的新变化:AI 会改变人类处理不确定性的方式。

过去,人面对一个陌生问题,可能会有三种选择:

1、知道就答。

2、不知道就查。

3、没把握就不答,不下判断。

但 AI 加入之后,流程变短了。

1、AI 给答案。

2、人采纳答案。

中间最重要的一步,即" 我到底知不知道 ",被不知不觉跳过去了。

这也就是为什么论文作者要强调,他们的这项研究看的不是"AI 让人答了什么 ",而是"AI 让人更轻易地决定‘我可以答’ "。

这比单次答错更深一层,因为它侵蚀的是我们的元认知能力,这种能力是我们监控自己知识边界的" 内在报警器 ",十分珍贵。

当这个报警器失灵,我们便失去了区分 " 真知 " 与 " 看似合理的猜测 " 的本能。

届时,我们或许仍能通过 AI 高效地获取答案,却再也无法判断这些答案是否真正属于自己、是否真的值得信任。

同时,被 AI 带偏的将不再是某一次具体的判断,而是我们作为独立思考者的根基。

这个损失是不可估量的。

孩子可能更危险

论文的作者之一 Valerio Capraro 在采访中表示:" 我非常担心儿童,因为成年人已经学会了批判性思维。但对于基本上出生时就伴随这些系统的儿童来说,风险在于他们甚至不会学到基本的批判性技能。"

这段话背后藏着更深的忧虑,即如今的成年人,至少曾在没有 AI 的世界里生活过。

所以有机会从小靠着搜索引擎、书本、课堂、争论和试错,先学过一些基础判断能力,再开始使用 AI,能够有机会建立起 " 我不确定 " 的感觉。

但今天的孩子,可能一出生就和这些 AI 一起长大。

他们做作业、查资料、写文章、理解概念,都可能随手问 AI。

如果从一开始就习惯于直接接收答案,而不是先形成自己的判断,再去验证答案,那么风险就不只是某道题答错,而是他们可能没有机会练出最基本的批判性思考能力。

在 Capraro 看来,解决这个问题不能只靠模型公司修 bug,更要从AI 素养教育政策入手。

模型公司当然应该改进,比如更好地表达不确定性,减少幻觉,在证据不足时提醒用户。

但同时 Capraro 也认为,不能把希望全押在模型公司身上。

更有希望、也更长期的解法,是教育

尤其是儿童教育。

对今天的孩子们来说,多练 " 我不知道,但我要弄明白 " 的过程和培养这种习惯是非常重要且必要的。

AI 时代,最需要保护的是我们的判断力

在实验的最后,研究者也坦承了局限:实验仅使用了电影细节题,是否适用于其他领域仍需验证;激励金额较小,更大的利害关系能否进一步纠正行为尚不清楚。

但至少现有的数据已经给出了一个清晰的信号:人们更少说不知道,更多给出答案,更少答对,却更自信。

这可能是 AI 时代最隐蔽的一种风险。

AI 不仅骗了你,它还让你更难意识到自己其实并不知道。

这项研究最后给出的判断很克制,但也很沉重:" 随着 AI 生成的答案无处不在,甚至常常不请自来,我们的研究表明,在人与 AI 的互动中,人类坦然承认‘我不知道’的能力,可能会成为人机交互中最早的牺牲品之一。

当 AI 系统日益普及,人类的判断力能否站稳脚跟,最终可能并不取决于让 AI 变得更精准,而在于我们能否守住那份自知之明——既清醒地认识到自身知识的边界,又能据此审慎行事。"

这不是说 AI 不能用,恰恰相反,AI 当然可以是强大的辅助工具;

但前提是它应该帮助人思考,而不是替人跳过思考,我们更得守住自己的审慎判断的底线。

一个更健康的 AI 使用方式,可能是先自行判断、主动学习,实在弄不明白了再求助 AI,并在求助的过程中始终保有质疑的本能。(包括质疑 AI 和扣问自己)

例如:

" 它有没有可能是错的?"

" 证据在哪?"

" 参考链接是否 404 全空白?"

" 我有没有因为它说得太顺,就认为它说得对?"

对 AI 产品及其开发者而言,这同样是一记警钟—— " 技术的成熟,终将体现在对未知的敬畏里。"

未来 AI 进化的方向,或许不只是要让 AI 回答得更快、更像人,还要让 AI 学会更诚实地袒露不确定性;

当证据不足、问题依赖视觉细节、实时信息或专业判断时,AI 应当主动告知用户这个答案不可靠,而非强装无所不能。

而对于像你我这样,被时代浪潮裹挟着向前奔跑的普通人来说,最珍贵的能力,也许只是重新练习说出那句:" 我不知道。"

在这个 AI 总能给出答案的时代," 我不知道。" 这句话不是无知的坦白,而是判断力还在的证明。

参考链接:

[ 1 ] https://www.theregister.com/ai-and-ml/2026/07/19/using-ai-makes-people-less-likely-to-admit-they-dont-know-something/5274567

[ 2 ] https://arxiv.org/pdf/2607.13562

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

—    —

点亮星标

科技前沿进展每日见

评论
大家都在看