智东西 01-24
OpenAI突发AI智能体大招,像人一样操作电脑,解放打工人神器
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

编译 | 程茜

编辑 | 云鹏

OpenAI 的首款 AI 智能体来了!

智东西 1 月 24 日消息,今天凌晨,OpenAI CEO 萨姆 · 阿尔特曼(Sam Altman)发起直播,发布了首款可以像人类一样操作电脑独立完成任务的 AI 智能体——Operator

打开 Operator,用户只需要输入自己的需求,就可以双手离开键盘,静静等待 Operator" 表演 ",订票、买日用品、填写表格等诸多任务能被迅速搞定。

用户可以实时查看它的进度,并随时介入。遇到需要用户的付款信息、家庭住址这些隐私信息,Operator 也会主动暂停让用户接管操作。

从今天开始,Operator 将向美国ChatGPT Pro 用户提供。未来,OpenAI 计划把 Operator 扩展到 Plus、Team 和 Enterprise 用户,并将这些功能集成到 ChatGPT 中。

阿尔特曼将 Operator 的发布称作是:"进入 Level 3 的开始。"

他还在直播中预告,Operator 是 OpenAI 首批智能体之一,他们将在未来几周和几个月内推出更多智能体

一、解放双手,搞定手写 list 到送货上门、全额退款、许可证更新

用户只需要描述任务,Operator 就可以完成后续的步骤。用户可以随时选择接管远程浏览器的控制权,遇到登录、付款详细信息或输入验证码等涉及用户隐私的环节,Operator 会主动要求用户接管。

用户在纸上记录的日用品购买 list,可以直接拍照上传发送给 Operator,它就会自动识别任务,然后执行一系列的购买操作。

此外预订时,遇到需要确认的时间点,Operator 也会及时询问用户在获得反馈后执行下一步操作。

Operator 还能帮助用户完成订单的全额退款。

为用户检索合适的露营地。

用户可以通过为所有站点或特定站点添加自定义说明,例如为 Booking.com 上的航空公司设置首选项,Operator 在执行相应操作时就会优先考虑用户的设置。

此外,Operator 允许用户保存提示以便在主页上快速访问,例如在订购日用百货等重复性任务。与在浏览器上使用多个选项卡类似,用户可以通过创建新对话让 Operator 同时运行多个任务,例如在订购桌子的同时询问用户聚会需要的食物类型。

二、底层模型 CUA,自主完成输入、单击、滚动

Operator 由新模型Computer-Using Agent(CUA)提供支持。CUA 通过强化学习将 GPT-4o 的视觉功能与高级推理相结合,经过训练可以与人们在屏幕上看到的按钮、菜单和文本字段等图形用户界面(GUI)交互。

具体的操作方式包括,查看浏览器(通过屏幕截图)和与浏览器交互(使用鼠标和键盘允许的所有操作),这使能够在浏览器上执行操作,无需自定义 API 集成。

CUA 的具体操作通过集成感知、推理和操作的迭代循环运行:

感知:计算机的屏幕截图将添加到模型的上下文中,从而提供计算机当前状态的可视化快照。

推理:CUA 使用思维链推理后续步骤,同时考虑当前和过去的屏幕截图和操作。这使模型能够评估其观察结果、跟踪中间步骤并动态适应,从而提高任务绩效。

操作执行单击、滚动或键入操作,直到确定任务已完成或需要用户输入。虽然 CUA 会自动处理大多数步骤,但会寻求用户确认敏感操作。

如果在操作中遇到问题,Operator 可以利用其推理能力进行自我纠正。且如果需要帮助,该智能体就会将控制权交给用户。

虽然 CUA 仍处于早期阶段并且存在局限性,但它在 WebArena 和 WebVoyager 这两个关键的浏览器使用基准测试中,在 OSWorld 上实现38.1%的完全计算机使用任务的成功率,在 WebArena 上实现58.1%的成功率,在 WebVoyager 上实现87%的基于浏览器的任务成功率。

三、三层保障,限制 Operator 操作

为了确认 Operator 的安全性,OpenAI 设置了三层保护措施。

首先,Operator 经过培训,以确保使用它的人始终处于控制之中,并在关键点要求用户输入。

接管模式:Operator 在浏览器中输入敏感信息(如登录凭证或支付信息)时要求用户接管。在接管模式下,Operator 不会收集用户输入的信息或对其进行屏幕截图。

用户确认:在完成任何重大操作(例如提交订单或发送电子邮件)之前,Operator 应请求批准。

任务限制:Operator 接受过拒绝某些敏感任务的培训,例如银行交易或需要高风险决策的任务,例如对工作申请做出决定。

监视模式:在特别敏感的站点(例如电子邮件或金融服务)上,Operator 需要密切监督其操作,使用户能够直接捕获任何潜在的错误。

其次,OpenAI 简化了 Operator 管理数据隐私的过程。

训练选择退出:在 ChatGPT 设置中关闭 " 为每个人改进模型 " 意味着 Operator 中的数据不会用于训练其模型。

透明的数据管理:用户可以在 Operator 设置的 Privacy 部分下一键删除所有浏览数据并注销所有站点。Operator 中的历史对话记录也可以一键删除。

最后,OpenAI 建立了防御措施,抵御可能试图通过隐藏提示、恶意代码或网络钓鱼尝试来误导 Operator 的网站:

谨慎导航:Operator 旨在检测和忽略提示注入。

监控:专用的 " 监控模型 " 会监视可疑行为,如果出现问题,可以暂停任务。

检测 pipeline:自动化和人工审查流程持续识别新威胁并快速更新保护措施。

此外,OpenAI 将 Operator 设计为拒绝有害请求并阻止不允许的内容,其审核系统会对重复的违规行为发出警告甚至撤销访问权限,并且集成了额外的审核流程来检测和解决滥用问题。

结语:Operator 处理复杂工作流程仍有局限

Operator 目前处于早期研究预览阶段,在面对制作 PPT、管理日历等复杂任务方面它的表现并不好,但 Operator 目前已经能独立完成诸多用户日常会遇到的任务。下一步,OpenAI 计划很快在 API 中公开为 Operator 提供支持的模型 CUA,以便开发人员可以使用它来构建自己的计算机使用代理,同时会继续提高其处理更长、更复杂工作流程的能力。

此前谷歌、Anthropic、智谱 AI 都发布了类似支持自动检索并跨平台操作的智能体,这类智能体的出现进一步降低了用户与计算机的交互门槛,用户可通过简单指令让 智能体完成复杂任务,无需掌握专业技能或操作知识。

来源:OpenAI 官网

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

美国 ceo
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论