财联社 10 月 28 日讯(编辑 马兰)人工智能模型的安全性一直受到市场质疑。近期,一名美国青少年在咨询 ChatGPT 后自杀,进一步引发了社会对模型是否存在诱导用户尝试危险行为的怀疑,也迫使 OpenAI 加大了对用户心理健康问题的监控。
周一,OpenAI 发布了一篇博文显示,每周有超过一百万 ChatGPT 用户发送包含潜在自杀计划或明确意图迹象的消息。除了自杀相关的问题外,OpenAI 还称,每周约有 56 万名活跃用户可能表现出与精神病或躁狂症相关的心理问题迹象。
OpenAI 警告,用户的此类对话很难检测或量化衡量,这些都只是初步分析。但这项发现是追踪 ChatGPT 处理敏感对话的最新进展之一,也是 OpenAI 就人工智能如何加剧心理健康问题所做出的最直接声明之一。
因病施药
上个月,美国联邦贸易委员会对包括 OpenAI 在内的人工智能聊天机器人公司展开了广泛调查,以了解这些公司如何控制对儿童和青少年的负面影响。
长期以来,人工智能研究人员和公共卫生倡导者一直对聊天机器人的立场表示担忧,因为模型可能会盲目认同用户的决定或妄想,无论这些决定或妄想是否有害。
心理健康专家也对人们使用人工智能聊天机器人寻求心理支持感到担忧,并警告称这可能会伤害心理脆弱的用户。
对此,OpenAI 在博文中声称,其最新的 GPT-5 模型更新减少了大模型的不良行为,并在涉及 1000 多个有关自残和自杀的对话评估中提高了安全性以保护用户。其评估结果显示,新 GPT-5 模型符合期望行为的比率为 91%,而未更新的 GPT-5 模型的符合率为 77%。
OpenAI 还表示,GPT-5 扩展了危机热线的访问权限,并增加了提醒用户在长时间会话期间休息的功能。
OpenAI 补充称,为了改进该模型,近几个月来,该公司从全球医疗专家网络中招募了 170 名临床医生来协助其研究,包括评估其模型响应的安全性,并帮助聊天机器人撰写与心理健康相关问题的答案。


登录后才可以发布评论哦
打开小程序可以发布评论哦