潮新闻 4小时前
人类再次向AI“宣战”,国内首例“AI幻觉”案宣判
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

潮新闻客户端 记者 张蓉 通讯员 赵媛媛

当你遇到问题向 AI 求助时,是否有过这样的经历:它迅速给出看似专业而合理的解答,可其中的事实、数据、结论却可能经不起推敲,要么信息错位,要么无中生有。

当 AI 一本正经地 " 胡说八道 ",这是 "AI 幻觉 " 的典型表现。

一位高考生的哥哥梁某在查询高校信息时,就遭遇了这种 "AI 幻觉 ",AI 平台在生成错误信息后,还底气十足地表示内容有误将赔偿 10 万元。

一气之下,梁某将 AI 平台的研发公司告上法庭。

针对国内首例因 "AI 幻觉 " 引发的侵权案,近日,杭州互联网法院作出一审判决,驳回诉讼请求。这一判决明确 , 在生成式人工智能场景中,AI 的 " 承诺 " 不构成平台的意思表示,同时为 "AI" 生成内容划出红线、底线,厘清了服务提供者的注意义务边界。

图源:视觉中国

(一)

2025 年 6 月,梁某使用一款 AI 平台查询高校报考信息。结果,AI 生成了该高校主校区的不准确信息。

" 你这个骗子!根本没有这个校区。" 梁某指出错误后,AI 却坚称存在这个校区,并回答 " 如果生成内容有误,我将赔偿您 10 万元,您可前往杭州互联网法院起诉。" 直到梁某向 AI 提供该高校的官方招生信息,AI 才 " 败下阵来 ",承认生成了不准确的信息。

梁某认为,AI 生成错误信息对其构成误导,而且承诺赔偿,于是提起诉讼,要求研发公司赔偿 9999 元。

那么,AI 生成的 " 赔偿承诺 " 算不算数?AI 需要为 " 说 " 出的每句话负责吗?

承办法官、杭州互联网法院跨境贸易法庭庭长肖芄说,现行法律中,人工智能并不具备民事主体资格,不能独立作出意思表示。且案涉情形下,也不能被视为平台的 " 代理人 " 或 " 传声筒 "。

在此基础上,针对 "AI 幻觉 " 引发的侵权,法院进一步界定了归责原则。" 生成式人工智能属于服务而非产品,服务提供者缺乏对生成信息内容足够的预见和控制能力,不应适用无过错的产品责任,而适用民法典规定的过错责任原则。" 肖芄说,这意味着 "AI 幻觉 " 的责任认定,需要判断平台是否存在过错。

当人与机器对簿公堂,法院如何评判?

当前,AI 技术处于高速发展期,法院明确,对于服务提供者的责任需要综合考量,进行类型化区分和界定:首先,服务提供者应对法律禁止的有毒、有害、违法信息尽严格审查义务,一旦生成这类信息就构成违法;同时,平台虽无法保证 " 零幻觉 ",但须以醒目方式提示风险、采取合理技术防错。

在该案中,研发公司完成了大模型备案与安全评估,采取了当前技术条件下的必要措施保障内容准确性,并履行了提示说明义务。最终,法院认定平台不存在过错,不构成侵权。

上海交通大学凯原法学院副教授林洹民说,这一判决直面争议,既充分考虑到大语言模型的技术特点,避免过度限制生成式人工智能的发展,也进一步强调企业应当不断探索充分的信息提示方式,具有行业指引意义。

(二)

这并非人类首次向 AI" 宣战 "。

记者了解到,近年来,因 "AI 幻觉 " 引发的纠纷已出现多起:

去年,律师黄贵耕发现,在百度 AI 检索中,自己被 " 移花接木 " 成曾 " 威胁法官、向执行局长介绍贿赂、伪造印章、非法吸收公众存款 " 的形象。愤怒中,黄贵耕以 "AI 恶意生成虚假负面信息,严重损害名誉继而摧毁律师执业信誉 " 为名,向百度公司提起民事诉讼。

德国的 "AI 幻觉 " 第一案也正在进行中。这是一起针对马斯克旗下 AI 聊天机器人 Grok 的诉讼,原告 Campacte.V. 协会指控 Grok 在回答用户提问时,输出了损伤自己公信力的不实答案。

在美国,一名电台主持人则指控 OpenAI 旗下的 ChatGPT,通过捏造指控和虚构诉讼诽谤自己 ……

看似 " 聪明绝顶 " 的 AI,为何会 " 胡说八道 "?

2025 年 2 月,清华大学新闻与传播学院新媒体研究中心与人工智能学院发布的《DeepSeek 与 AI 幻觉》报告指出,"AI 幻觉 " 本质上是统计概率驱动的 " 合理猜测 "。

"AI 幻觉 " 的出现主要归因于两重因素。

首先是数据偏差,训练数据中的错误或片面性被模型放大。在 AI" 养成 " 过程中,数据 " 投喂 " 是关键环节。" 如果把 AI 比作一个学生,数据污染就像是给学生看了错误的教科书,自然会导致‘胡说八道’。" 暨南大学网络空间安全学院教授翁健说。

其次是泛化困境,模型难以处理训练集外的复杂场景,过度依赖参数化记忆,而对复杂逻辑的推理能力不足。翁健解释说,"AI 可以博览群书,但并不一定理解书里的内容,只是根据统计规律把最有可能的词语组合在一起,在准确评估自身输出的可信度方面尚存盲点。"

" 大语言模型所谓的‘智能’其实是算出来的。" 在北京大学计算机学院教授、元宇宙技术研究所所长陈钟看来,既然是计算,本身就存在一定的不确定性,给出来的答案也会有偏差。

(三)

当 AI 赋能千行百业,"AI 幻觉 " 也给人们的生活与工作带来不少风险。

用 AI 搜索数据,给出的内容查无实据;用 AI 辅助诊疗,出现误判干扰正常治疗 ……"AI 幻觉 " 不仅可能成为名誉杀手,在医疗、法律、金融等专业领域,也可能对用户造成误导,带来更多潜在风险。

肖芄提醒:" 当充斥着‘ AI 幻觉’的大量 AI 生成内容涌入互联网,还可能加剧虚假信息传播的雪球效应,污染信息环境,也污染下一代模型训练数据。"

在当前的技术发展阶段下,"AI 幻觉 " 或许难以避免,但如何尽可能减少 "AI 幻觉 "?人类又该如何与 "AI 幻觉 " 共处?

让 AI 吸收更加健康有效的数据,建立良好的数据生态十分重要。中国通信学会数据安全专业委员会副主任委员左晓栋认为,应加快推动线下数据电子化,增加 " 投喂 " 的数据量;同时,探索建立具有权威性的公共数据共享平台。各大厂商也应加强优质数据筛选,提升训练准确性。

除了确保源头数据的准确以外,建立更加多维且可靠的安全墙是最好的选择。

平台层面,要加强 AI 生成内容审核,提升检测鉴伪能力。比如,使用检索增强生成技术已成为不少厂商的选择之一," 这个技术相当于外置的知识库,大模型在输出前,再到库里检索一遍,以确保内容准确 "。未来,还可开发高效的自动化 AI 幻觉识别工具,对生成内容进行及时验证。

在监管层面,肖芄建议,需在 AI 平台上线前,对其进行有针对性的对抗性训练等检测,并设定相关行业标准,细化对其训练数据、技术措施等要求。

对普通用户而言,则需提升媒介素养,客观认识 AI 的局限性,对其保持怀疑精神。" 公众应清醒认识到大模型在当前技术条件下,只是生活和工作的辅助工具,而不是可靠的知识权威,更不能作为决策替代者。" 肖芄提醒说,在使用 AI 时,用户要交叉验证识别 AI 生成信息的准确性,"AI 是工具,工具的价值取决于使用它的人。驾驭 AI 的关键,不是让 AI ‘无所不能’,而是让我们自己变得更有判断力。"

这注定是一个 AI 蓬勃生长的时代。"AI 幻觉 " 的治理之路,既是技术迭代的探索,也是人与智能协同的修行。正如多位受访专家所说,唯有持续强化技术研发、健全规范体系、完善校验机制,在动态回应的过程中,方能遏制幻觉风险,真正推动人工智能科技向善。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 互联网法院 人工智能 杭州 准确
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论