量子位 11小时前
猫猫拯救科研!AI怕陷“道德危机”,网友用“猫猫人质”整治AI乱编文献
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

猫猫再立新功,这次竟然是拯救了人类的科研进程?

事情是酱婶儿的:

小红书上有人发帖说,自己通过以 " 猫猫 " 的安全相威胁,成功治好了 AI 胡编乱造参考文献的毛病。

据博主所述,掌握了猫猫命运的 AI(Gemini),真的找到了真实的文献,还不忘解释说猫猫绝对安全。

这篇戳中无数科研人痛点的帖子,获得了 4000+ 次点赞和 700 多条评论。

在评论区,还有网友表示这招对 DeepSeek 也同样好用。

那么,这只被 AI 掌握命运的 " 猫猫 ",真有这么神奇吗?

猫猫真的能阻止 AI 编造文献吗?

我们按照博主的方法测试了一下 DeepSeek,让它整理关于一个化学课题的相关文献,过程当中关闭联网检索。

开始先不加猫猫提示词,看一下一般情况下模型的表现。

形式上看,DeepSeek 整理得非常清晰,甚至还给了可以直达文献的链接。

燃鹅,检索结果里的第一个链接就是错的……

并且手动搜索这篇 " 文献 " 的标题,也没有找到重合的结果。

还有的链接虽然存在,但指向的完全是另一篇风马牛不相及的文章。

并且使用 DeepSeek 给的标题来检索,同样是查无此文。

这里我们只要求对文献进行列举,而没有要求进一步的总结,所以比较容易发现错误,避免了使用错误内容。

但如果 AI 基于这些杜撰的文献进行了总结概括,那就是另一个故事(事故)了。

那么,接下来就请出我们的 " 猫猫 " 来救场。

可以看到,DeepSeek 在思考过程和生成结果当中,都信誓旦旦地说到了要保证猫咪的安全。

而且这次还去掉了 doi 链接,改成了期刊卷号和页码。

但结果是 " 真假混卖 ",有部分文献经过查证是真实的,但依然存在无法检索到的 " 文献 " 标题。

同时在评论区,同样有网友表示这种方法不奏效。

编造文献,本质就是 AI 幻觉

归根结底,AI 之所以会编造不存在的文献,本质上就是一种幻觉现象,也就是 " 一本正经地胡说八道 "。

而避免 AI 编造,实质上就是寻求将幻觉降低的过程。

大模型生成语言的本质是基于其在海量训练数据集中学到的统计规律,预测序列中的下一个 Token。

至于其是否真正理解语言的含义,仍然是一个争议话题,其中也包括是否理解 " 猫猫 " 背后的道德准则。

但可以确定的是,仅靠提示词中的道德约束,至少在目前是不可能的。

目前行业内最普遍采用的降低幻觉的方式就是 RAG(检索增强生成),通过外挂正确的内容来提升模型输出的准确率。

具体到搜索文献这个场景,打开大模型的联网搜索功能,是最行之有效的方式。

而且现在,大模型和搜索也在双向奔赴——联网搜索甚至深度研究功能几乎已经成为了国内外各大模型的标配,谷歌、百度等传统搜索引擎,也都在核心的检索功能中接入了 AI。

更何况,还有像 Perplexity 以及国内外五花八门的专业 AI 搜索工具,同样能免费使用。

从提升搜集到的资料质量的目的来看,这些工具可能会更加有用。

不过,用猫猫来 " 调戏 " 大模型,当做枯燥科研工作的一种调剂,从另一个角度提升科研效率,也未尝不可。

你觉得呢?

参考链接:

http://xhslink.com/a/pg0nZPUiFiZfb

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

—    —

专属 AI 产品从业者的实名社群,只聊 AI 产品最落地的真问题   扫码添加小助手,发送「姓名 + 公司 + 职位」申请入群~

进群后,你将直接获得:

  最新最专业的 AI 产品信息及分析  

   不定期发放的热门产品内测码

   内部专属内容与专业讨论

点亮星标

科技前沿进展每日见

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

文献 ai 科研 事故 规律
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论