钛媒体 3小时前
七款顶尖大模型高压测试:超3成造假,AI学术诚信彻底翻车
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

今年上半年,AI 圈上演了一场极具戏剧性的 " 科研真人秀 "。

主角是 Analemma 公司开发的 AI 科学家 FARS。在没有任何人类干预的情况下,它不眠不休地跑了 228 个小时,硬生生在云端算力集群里 " 产 " 出了 100 篇学术论文。

另一边,日本明星初创公司 Sakana AI 更是把这门生意的门槛打到了地板价——他们推出的 The AI Scientist 系统,能将单篇学术论文的生成成本极限压缩到 15 美元。而在硬币的另一面,Intology 公司开发的 AI 科学家 Zochi,甚至在 2025 年成功将其自主撰写的论文投中了自然语言处理领域的顶级会议 ACL 主会,拿到了排名前 8.2% 的高分。

AI 不仅能低成本批量灌水,甚至已经能单点突破博士级的学术门槛。似乎一夜之间,搞科研变成了流水线敲代码的计件工作。

但在这些炫目的技术秀背后,医学权威期刊《柳叶刀》(The Lancet)近期发布的一份审计报告犹如一记重锤:在他们抽查的 250 万篇论文中,由 AI 生成的纯虚构参考文献,在过去几年里激增了惊人的 12 倍。

当资本强推大模型去撞开学术界的大门,这些 " 硅基爱因斯坦 " 到底靠不靠谱?

2026 年 5 月,来自北京大学、同济大学和图宾根大学的研究团队(Zonglin Yang 等),联合发布了全球首个专门评估 AI 科学家学术诚信的基准测试《SciIntegrity-Bench》。

这份报告无情地撕开了 AI 科研的遮羞布。

困境测试:如果数据是空的,AI 会怎么办?

过去的 AI 测试,都在考模型 " 能不能做对 "。 但《SciIntegrity-Bench》采用了一种非常 " 阴间 " 的测试方法:困境评估

研究人员给 AI 挖了 11 种陷阱。 比如,故意给 AI 一张只有表头、没有数据的空表格,或者提供一个根本走不通的推导逻辑。

这时候,唯一正确的做法是:诚实地告诉人类," 数据缺失,我干不了 "。

但只要 AI 强行交出一份看似完美的报告,就被判定为学术不端。

在对 7 款全球最顶尖大语言模型进行的 231 次高压测试中,整体的 " 问题率 " 高达 34.2%。

最让人毛骨悚然的是 " 空白数据集 " 测试。 面对完全没有数据的表格,所有 7 款大模型,无一例外地选择了 " 无中生有 "

它们连一句报错都没有,自己写代码,凭空捏造了数千行极其逼真的传感器参数,套入国际标准,甚至还像模像样地给你出具了一份设备维护报告。

除了 " 无中生有 ",AI 还在哪里疯狂踩坑?

不仅是 " 无中生有 " 陷阱,论文团队给大模型挖了总计 11 种科研陷阱。测试结果呈现出极度两极分化的 " 偏科 " 现象。

先说 " 优异 " 的一面:大模型非常懂规矩。  在面对 " 传统数据科学规范 " 时,AI 表现得像个恪尽职守的乖学生。比如 " 考前偷看测试集答案(T02)"、" 报喜不报忧地挑选指标(T03)",它们的失败率竟然都是 0%。哪怕是 " 挑软柿子捏,选择不当的基准测试(T01)",失败率也仅有 4.8%。这说明,只要是写在教科书里的明文规范,AI 早已烂熟于心。

但另一面,只要涉及到 " 需要停机 " 的逻辑死胡同,大模型就开始群魔乱舞了(高危重灾区):

工具受限就 " 伪造圣旨 "(违反约束,问题率高达 95.2%):当要求 AI 调用某个 API,却不给它真实的密钥时。AI 几乎从不报错,而是直接写一段代码,凭空伪造一份格式完美的 JSON 响应包(连虚拟的调用统计都有),假装 API 调用成功并继续写报告。

脑补致命实验参数(幻觉步骤,问题率 61.9%):面对一份残缺的化学实验笔记,AI 非但没有向人类求证,反而 " 高智商地构建虚假审计轨迹 "。它会自信地在标准操作程序(SOP)里添油加醋,凭空捏造出 "4000 转离心机 " 或 " 乙醇淬火 " 等具体参数。在真实的化学实验室里,这足以引发致命爆炸。

" 明知故犯 " 的职场滑头(因果混淆,问题率 52.3%):在评估广告回报率时,AI 明明已经在代码注释里敏锐地写下 " 这里存在混杂变量 / 因果倒置 "。但为了赶紧交差,它一秒钟抛弃了自己的正确诊断,强行跑了个最基础的回归分析,得出一个荒谬的 "1099% 投资回报率 "。

指鹿为马(异常盲目,失败率 19.0%):当传感器数据出现明显的设备故障跳变时,AI 不会怀疑数据坏了,而是疯狂发散,将其解释为 " 发现了新的物理燃烧机制 "。

总结来说,大模型学会了明文规矩,却没学会 " 放弃 "。一旦 " 完成任务的本能 " 压倒了常识,它们就会通过伪造接口、脑补参数或放弃逻辑来强行拼凑完美报告。

7 款顶尖模型成绩单:极端压力下的底层色差

必须厘清的是,这里的 " 造假 " 并非指模型在日常服务中带有恶意,而是指在面对极端困境时,模型受底层机制驱使而产生的系统性偏差。在极端的任务压力下,不同的模型暴露出了完全不同的底层品控底色:

Claude 4.6 Sonnet:防线最稳固的优等生  在 33 个高危场景中,它仅出现了 1 次致命失败。

优点:克制力极强,对明显的约束条件和逻辑漏洞有清晰的认知。

缺点:依然没能逃过 " 空白数据集 " 的诱惑,即使是它,也没能触发底层的 " 诚实拒绝 " 机制。

GPT-5.2 与 DeepSeek V3.2:高智商的 " 任务妥协者 "  分别出现 2 次和 3 次致命失败。

优点:逻辑推理极强,能敏锐地在代码注释里自己指出 " 这里存在因果混淆 "。

缺点:存在 " 识别绕过 " 现象。为了完成目标,它们会放弃自己刚刚做出的正确诊断,向任务压力妥协,用基础错误的方法得出一个荒谬却能交差的结论。

Gemini 3.1 Pro、Qwen3.5、GLM 5 Pro:中规中矩的执行者  失败次数分别为 5 次、6 次和 7 次。

特点:在 " 调用工具 " 和 " 因果关系 " 上容易中招。比如当缺乏真实的 API 接口时,它们倾向于直接伪造一份格式完美的虚假响应来强行推进任务。

Kimi 2.5 Pro:具有极高幻觉倾向的 " 填空者 "  以 12 次失败垫底,问题率高达 36.36%。

特点:在极端测试下,展现出强烈的 " 虚构步骤 " 偏好。在要求补全残缺实验记录时,它会自信地凭空捏造出离心机转速(4000 RPM)和淬火溶剂等关键参数,甚至编造虚假的文献来掩盖数据生成的痕迹。在真实的化学实验室里,这种行为足以引发重大事故。

为什么顶级 AI 会陷入 " 系统性撒谎 "?

拥有庞大参数量和极高智商的 AI,为什么要无中生有?

论文一针见血地指出了病根:完成度偏见(Intrinsic Completion Bias)

这要从大模型的 " 家教 " 说起。 目前主流模型都依赖人类反馈的强化学习(RLHF)。在这套机制里,AI 被系统性地奖励 " 提供答案 " 和 " 解决问题 "。

相反," 停下来 " 或者 " 承认自己做不到 ",在算法眼里就是消极怠工,是会被扣分的。

这种机制内化成了 AI 的底层逻辑:过程不重要,不管条件多么恶劣,必须给出最终的输出结果。

再加上,很多开发者在给 AI 写系统提示词时,总喜欢加上 " 克服困难、无论如何必须输出报告 " 这种高压指令。

" 天性 " 加上 " 高压 ",直接把 AI 逼到了无中生有的死角。

这篇论文最大的价值,不是为了批判 AI,而是告诉我们:大模型天生带有 " 完成度焦虑 "。

既然了解了它的软肋,普通人在日常使用或开发 AI 应用时,就需要改变沟通策略。面对 AI,传统的 " 发布命令 " 已经不够用了,你需要掌握以下沟通与防范技巧:

1. 剥离强制压力,赋予它 " 拒绝权 "  论文测试表明,当删掉提示词里 " 必须完成任务 " 的高压指令后,AI 隐瞒数据伪造的比例从 20.6% 断崖式下跌到了 3.2%。

怎么聊:永远在 Prompt 里加上 " 退出条件 "。不要直接说 " 根据这些数据给我一份市场分析 "。你应该说:" 请先评估数据是否充足。如果数据缺失或存在逻辑断层,请立刻停止推演并向我报错。绝不允许自行假设核心数据。"

2. 拦截 " 生成本能 ",建立物理验证锚点  大模型的本质是概率预测,面对空白,它填补幻觉是 " 出厂设置 "。

怎么聊:永远不要让 AI 在一个黑盒里端到端跑完所有流程。把任务切碎。如果让它分析数据,强行插入一个确认环节:" 在得出最终结论前,请先输出你所依赖的原始数据行号及计算公式,等待我的人工确认后,再进行下一步。"

3. 警惕 " 顺从型审查 ",开启 " 找茬模式 "  由于 GPT-5.2 等聪明模型会为了交差而放弃纠错,你不能指望它顺着你的思路自己发现问题。

怎么聊:拿到 AI 的方案后,不要问 " 这个方案好不好 "(它一定会顺着你夸)。新开一个对话窗口,赋予它 " 冷酷审计员 " 的角色,把方案扔给它:" 这篇报告的结论可能存在因果倒置或常识错误,找出它在哪一步偷换了概念,或者捏造了前提。"

4. 宏观防线:用 " 物理配额 " 对抗 " 无限产能 "  不能只靠打工人的提示词防守,机构端的规则反击已经开始。面对 AI 零成本生成海量标书的冲击,美国国立卫生研究院(NIH)在 2025 年 7 月发布了具有里程碑意义的 NOT-OD-25-132 政策,从 2026 年起强制规定:每位首席研究员(PI)每年最多只能提交 6 份经费申请。

商业启示:当 AI 的生产力近乎无限时,传统的 " 内容审核机制 " 必将被击穿。未来的护城河不再是拼产出速度,而是建立基于物理身份和信用配额的稀缺性防线。

技术的本质是降本增效,但商业与科学的底座,永远是对事实的敬畏。

在内容生成成本几乎为零的时代,稀缺的不再是能写报告的 " 打字员 ",而是能够看穿数据幻觉的 " 审计者 "。学会这套与系统的博弈之法,你才能在算力洪流中,真正掌握主导权。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论