谁能想到，一场多人参加的跨国视频会议，竟然只有一个人是真人，其余的 " 参会人员 " 全部是经过 AI 换脸的诈骗 " 人员 "。最后的结果就是受害人将 2 亿港元分别转账 15 次，转账到 5 个本地银行账户。

"AI 换脸 " 的话题已经被讨论了很多年，如今已经真实到看不出破绽了吗？

新一轮的 AI 浪潮，大模型的能力进一步增强，这种新技术也在加速向现实世界冲击。无论是 ChatGPT，还是 sora，AIGC 都在 " 努力 " 创造一个真假难辨的世界：虚拟与现实的交织、身份与形象的混淆、声音与真实的错位、文字与真实的界限模糊。

如今，AI 这个潘多拉的魔盒被进一步打开。AIGC 是未来十年甚至更长周期的技术趋势和变革动力，而技术发展的两面性，在带来机遇和发展同时，也带来新的风险和挑战。

不过，历史的发展规律仍旧没有变，无论是否为虚拟创造的产物，" 作恶 " 的从来不是作为工具的 AI 本身。好在，AI 也提供了一种新的途径来鉴别 AIGC，即更了解自己的 AI 去打败 AI 自己。

AIGC 安全问题泛滥

毫无疑问，各种 AI 引发的问题背后，是技术的进步。从 Transformer 网络到 ChatGPT，从最初专用于人脸深度合成的 DeepFaceLab 发展到通用视频生成服务 Gen-2，各种生成式人工智能模型如今已经不稀奇了。

大模型能做到这种程度的原因，终究还是机器学习能力的跃升。中文垂直创作大模型公司波形智能创始人姜昱辰这样比喻：人工智能学习方法跟我们人非常相像。把东西教给 AI，它再进行学习和消化，之后就是模仿与创作。在初期，AI 的反馈可能不尽如人意，但做过个性化的范式训练时，AIGC 的 " 人味 " 会更明显。

AIGC 能做到也不只是如此。中文大模型已经经过层层打磨，写一篇质量过关，看不出 " 机器味 " 的稿子早已不是难事。随着大模型的应用越来越广泛，马斯克有当前最大参数大模型，谷歌有性能最强大模型，这些都能为之带来更多的想象力。

当今年 OpenAI 再次祭出大杀器 sora 时，APUS 董事长兼 CEO 李涛直言：它不仅展示了人工智能在视频生成领域的强大能力，更触及了人类对创作、真实性和未来的认知。

腾讯云天御安全专家黄泽丰表示，AIGC 的安全存在于三个阶段：一是数据训练阶段的 AI 内生安全，二是大模型部署运营时的 AI 应用安全，三是推广到公众后的 AI 衍生安全。

如今公众关注的如 AI 人脸诈骗这类问题，已经是一个非常复杂的问题。

黄泽丰表示：AI 换脸早期更多是通过社交工程学诈骗，通过不法手段获取个人的信息，再进行加工处理进行欺诈；而现在演变为可以实时模拟人脸的同时，将嘴型和眨眼等动作进行合成，极大的提升了迷惑性。

AIGC 的安全挑战让世界真假难辨，内容合规与幻觉一直是 AIGC 的首先要解决的问题。AI 换脸视频的形成，关键在于个人信息的泄露，而当人脸信息被恶意使用时，对于各种系统安全、金融安全、个人隐私等问题形成连锁反应。据悉，AIGC 的快速发展已经引发了黑灰产的新一轮的攻击，利用 AI 换脸、批量生成版权内容套现获利等问题频发。

以前，东南亚诈骗团伙利用病毒去获取用户信息，做成视频去欺骗银行，获得一些转账或者是贷款的问题，整个系统非常成熟。现在，有人可以基于人脸合成、拟声等 AI 技术进行脸部替换，并结合表情驱动做出眨眼、张嘴等动作来构造虚假的人脸视频，同时通过摄像头劫持进行攻击。

AIGC 可以带来缤纷多彩的世界，但其对安全的刁难又该如何化解？

用大模型对抗大模型

面对 AIGC 带来的震撼，李涛也感慨道：通过完全虚拟构建展示真实场景，在未来这种 " 真实 " 与 " 虚拟 " 的界限模糊，让我们不得不去思考：在 AI 时代，我们应该如何定义和理解真实与虚拟。

大模型对于模拟对象的了解已经达到很高的程度，对于以往的伪造内容，现有检测系统的检测准确率可以达到 90% 以上，但是对基于大模型生成的内容，其检测效果并不好。

但现在有一个明确的思路，就是用大模型对抗大模型。

黄泽丰表示，想要鉴别 AI 视频诈骗，首先要确保设备是否处在安全的系统环境里，例如系统可能被解锁、篡改、重置、" 双开 " 等等。

但是，现在 AI 对 AI，这种检测更难，除了前端要这样做检测，后端就要以同样的模型来检测不同的动作，或者是更多的信息维度。

无论 AI 如何模拟，由于 AIGC 是通过算法和模型生成的，它们往往具有一些特定的模式或特征，AIGC 终究会在人类面前露出马脚。利用 AI 的深度学习技术，我们可以训练模型来识别这些特征，从而判断一段内容是否是由 AI 生成的。

当然，AIGC 内容安全新挑战不仅体现在 " 天文级 " 的数据体量，处理的内容也更加复杂。在内容生成阶段，新型 AI 伪造、虚假、违背伦理、不适内容、未成年人等违规内容，以及 AI 问答产生专业性内容，都超出传统内容风控的范畴。

作为安全领域的专家，黄泽丰认为 AIGC 的鉴别不会是 100% 准确。目前，AIGC 在一些细节上还是有很大的特征，例如 AI 渲染过的图经常会有一些没有逻辑的。但有时候，AIGC 内容还会经过二次修改，比如文章和代码，这样情况就会很难去鉴别。

但有思路就要有尝试。

猎云网了解到，蚂蚁数科有一支 ZOLOZ" 数字身份打假队 "，专注于辨别数字身份欺诈。据介绍，数字身份打假队早在 2020 年就在储备用 AIGC 打败 AIGC 这项防御能力，而在当时，这样的真实攻击并不多见。于是，他们同样用 " 左右手互搏 " 的方式打磨系统。先用 AIGC 批量生成虚拟人脸，再利用生成的样本来攻击自己，从而不断地优化防御能力。

面对 AI 诈骗这类人脸合成攻击，腾讯云慧眼也用 AI 打败 AI，其开发的远近活模式，相比传统的活体检测技术，远近活体通过对交互过程中人脸的形变信息建模，并对交互行为进行分析，从而分辨出是真人还是攻击，能够有效检测并拦截新型 AIGC 攻击以及高清纸片、翻拍、面具等常见攻击。

作为安全厂商，360 最新上线了 360 安全大模型，其中提出了 " 以模治模 " 的方案，即采用 " 小模型 " 的技术保障大模型安全的技术路线。

在产业界，用魔法打败魔法的思路已经被推广。作为 AI 检测与安全领域的技术服务商们，不只在钻研，也在持续向外界赋能，AIGC 的标签也不会只隐藏在暗处。

AIGC 主导的世界

给 AIGC 内容打上标签，更多的是无奈，而 AI 被滥用已经不是新鲜事了，当下 AI 被滥用情况急需被遏止。

如今，安全行业围绕 AI 的攻击和防御一直是个业界焦点。在黑灰产产业化、链条化的分工模式下，应用 AI 发起安全攻击的门槛越来越低。

当 AIGC 的能力逐渐增强，大模型高效泛化内容生成的特点，会让黑客以更低的门槛和成本，发动更密集的攻击。相比较而言，防守需要更缜密的逻辑关联，更精准的溯源能力。在新技术的实践落地过程中，成本效率将会经历更严峻的考验周期。

但也不是所有事情都需要去鉴别是否由 AI 生成，不是因为有时候 AI 也 " 无能为力 "，而是 AIGC 是挑战也是机遇。

当 AI 作为辅助时，人类生产效率的可观提升，被视为一场生产力的变革。多模态的 AIGC 技术可以超越人类原有的表现形式去创造新的表现形式，自动化生成大量内容，不仅可以节省人力和时间成本，对于严谨的专业领域的内容可以减少或消除误差。

但无论内容是 AI 创造的，还是人创造的，这个内容对社会有用，它就是有意义的；如果说信息有害，无论是人的创造还是 AIGC 的创造，都需要去鉴别出来。

国内某网文平台编辑告诉猎云网，"AI 写小说在四五年前就有了，只不过这类文章很难达到签约标准，从质量上一眼就能看出来，并且目前还没听说哪一本 AI 写的书出了不错的成绩。" AI 可以加速稿件更新进度，提高作者效率，但只要文章的反馈好，谁还会在意它是怎么生成的呢？

但用 AIGC 去伪造内容，本身就是一条歧路。AIGC 内容的版权风险，几乎成为共识，毕竟这个生产过程，也是学习过程，人类的学习也离不开初期的模仿。

对于内容是否由 AI 主导要因地制宜，多数观点认为还是要给 AI 发挥的土壤。

来源：猎云网