新浪财经 14小时前
字节跳动 Seed 单独设立大模型安全与对齐部门
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

来源:新浪科技

新浪科技讯 10 月 13 日上午消息,字节跳动 Seed 近日发出内部邮件,宣布将成立 "Seed Model-Alignment&Preparedness" 部门,由严林负责,汇报给 Seed 负责人吴永辉,原 Responsible AI 团队及部分 Chat 团队成员将转入新部门。

据悉,该部门的设立旨在加强安全与对齐方向的投入,对齐的核心是让模型的行为与人类意图和安全约束保持一致,从而提升 Agent Model(智能体模型)安全能力,以及防范 CBRN(化学、生物、放射、核)等前沿能力风险。

大模型安全风险正日益凸显,智能体逃逸引发的网络攻击等事件频繁发生。此前,国内大模型研究团队的安全与对齐工作大多被纳入到公司整体的安全合规体系中,字节跳动 Seed 则是国内首家单独成立安全与对齐部门的前沿 AI 实验室。

Seed 团队内部判断,随着模型能力越来越强、应用场景越来越复杂,安全与对齐已不只是风险防范,而是决定模型能否规模化应用的核心能力。

据了解,Seed 安全与对齐部门将围绕模型规范制定、安全评估体系建设、对齐训练、防护系统搭建和风险监控等方向持续投入,并加强与外部研究机构和第三方评测的公开合作,最终使前沿模型在安全与授权约束内有效完成任务,随着模型能力和自主性增强,持续降低滥用及行为偏离风险,建立面对未知风险的全面安全体系。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 网络攻击 科技讯 字节跳动 生物
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论