星河商业观察 2小时前
严格限制AI违规内容输出,豆包、元宝、千问、文心一言被点名
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

9 月 2 日,中央网信办通报 " 清朗・整治 AI 应用乱象 " 专项行动第二阶段进展。一组数字摆在台面上:累计清理违法违规信息 561 万余条,查处账号 4.9 万余个,处置违规网站、应用程序 2400 余个。

通报中点名了四家头部大模型平台 —— 豆包、元宝、千问、文心一言,称其 " 严把原始语料内容审核关,严格限制违规内容输出,强化 AI 生成合成内容标识要求落地,从源头防范违法违规信息生成传播 "。

其实在今年 3 月,国家网信办、工信部、公安部、广电总局四部门联合发布《人工智能生成合成内容标识办法》,配套强制性国家标准《网络安全技术 人工智能生成合成内容标识方法》(GB 45438-2025)同步出台,两者均于 2025 年 9 月 1 日起正式施行。

办法要求服务提供者在生成的文本、图片、音频、视频上添加显式标识,并在文件元数据中嵌入包含属性信息、服务提供者名称或编码、内容编号等制作要素的隐式标识,日志留存不少于六个月。

换句话说,AI 生成的内容从诞生那一刻起就被要求 " 自带身份证 ",看得见的水印和看不见的元数据双重绑定,下载、转发都不能抹掉。

制度落地半年后,效果有了初步量化。

今年 2 月,中央网信办网络管理技术局局长于永河公开披露,豆包、深度求索(DeepSeek)、千问、文心等主要制作平台累计为超过 1500 亿个文本、图片和音视频生成合成内容添加 AI 标识,累计向用户提供超过 10 亿个包含 AI 标识的内容文件。于永河当时表示,AI 标识制度初步形成了 " 源头标识 — 传播核验 — 社会监督 " 的全链条治理格局。

此次专项行动第二阶段通报,相当于在标识制度基础上又拧紧了一圈螺丝,不仅要 " 打标 ",还要从语料源头和输出环节把违规内容堵回去。

通报同时披露了七类典型案例,覆盖面之广几乎囊括了当前 AI 乱象的全部形态。

有人用 AI" 魔改 "《三国演义》《西游记》,颠覆人物人设、虚构猎奇剧情,被称作生成 " 数字泔水 ";有人合成虚假灾害现场和救援画面,编造社会热点,甚至打造 AI 数字人带货误导老年人;有人靠 " 换脸 "" 换声 " 假冒公众人物,生成低俗图片视频牟利;还有人批量制作 AI 生成的未成年人怀孕、打架内容,传播 " 毒动画 "" 邪典 " 视频。

此外,利用 AI" 托管 " 软件模拟真人运营账号、从事网络水军活动,以及部分 AI 应用的智能体封面和对话中含有淫秽色情信息,也被列入查处范围。这些案例中的账号均已被依法依约处置,对拒不改正的平台则按程序采取警告、罚款、下架或关闭等措施。

属地监管也在同步推进。

北京网信办指导平台升级审核策略,提升对违规内容新型变体的识别能力;上海推出 AI 应用 " 知识普及包 ",引导公众识别风险;浙江对重点平台开展 " 一企一策 " 合规问诊;广东则召开重点平台工作例会,对多款应用点对点督促整改。

抖音、快手、微博、腾讯、百度、哔哩哔哩、小红书、知乎、豆瓣、淘宝等平台优化多模态识别模型,动态扩充人脸库、声纹库和违规样本库,上线人脸实时治理系统,累计发布各类治理公告 46 期。华为、小米、OPPO、vivo 等应用商店也收紧了开发者准入和上架抽检。

这与此前一轮合规调整中的表现形成对照。今年 7 月,《人工智能拟人化互动服务管理暂行办法》施行当日,豆包和千问同步下线用户自建智能体功能,腾讯元宝则提前完成调整,三家均以产品公告的形式向用户说明了变化。

彼时人民日报评论称,这场合规调整 " 恰是我国人工智能治理从 ' 包容探索 ' 迈向 ' 规范提质 ' 的生动注脚 "。而这一次,监管口径更侧重于 " 源头防范 " 和 " 标识落地 "。

从 1500 亿条标识内容到 561 万条清理信息,两个数字之间的落差,恰恰说明治理仍在进行时 —— 标识制度解决了 " 看得见 " 的问题,而语料审核和输出限制要解决的,是 " 生不生得出来 " 的问题。

对头部平台而言,这道题没有终稿,只有迭代。

来源:星河商业观察

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 文心一言 人工智能 广电总局
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论