
OpenAI 首次向用户全面开放其 Decisions API 模型,正式进军快速、低成本人工智能决策市场。近期,由一名前沿人工智能实验室研究员创立的初创公司 TypeSafe,凭借旗下 Jev 模型在这一市场取得成功,估值达到 76 亿美元。
TypeSafe 的 Jev 模型开创了一类新的深度学习模型,即能够充当 " 超级分类器 " 的模型。这类模型可以根据给定的一组选项迅速作出选择,并为决策结果提供置信度评分。
软件开发者很快发现,这些被称为 " 决策模型 " 或 " 系统一 "(System One)模型的技术,可以在多种工作流程中替代大语言模型(LLM),不仅运行速度更快,而且成本大幅降低。
OpenAI API 产品负责人尼昆杰 · 汉达(Nikunj Handa)向 TechCrunch 表示,他的同事在看到 Jev 后惊叹道:" 哇,我们简直有上百万种应用场景可以使用这项技术。"
汉达的团队随即加快开发自己的版本。不过,他们并未从头构建专门经过置信度校准的决策模型,而是选择对 ChatGPT Luna 模型进行重新配置,以提高推理速度并降低成本。
汉达表示:"Decisions API 带来的最大突破在于速度。我们将原本需要 1 至 3 秒的任务,缩短到了 100、120 甚至 180 毫秒。"
" 未来,我们可能会通过专门的训练,进一步提高模型在这些方面的表现。但就目前而言,普通的 Luna 模型已经足以完成任务。"
OpenAI 于 9 月 29 日举行的开发者大会上宣布推出 Decisions API,并于周四向所有客户开放。
在公开版本中,OpenAI 新增了语音和视觉模态支持,并通过针对不同地理区域部署推理资源,努力降低全球各地用户的访问延迟。
在与 Box、Datadog、Ramp 和 Speak 等客户开展的初期测试中,工程师利用这款 API 替代 OpenAI 原有的大语言模型,以实现更高的吞吐量。
AI 语言学习应用 Speak 的首席技术官安德鲁 · 徐(Andrew Hsu)表示,Decisions API 帮助该公司将操作之间的响应时间从 1.4 秒缩短至 0.13 秒。
OpenAI 还利用这项技术提高了旗下 Dots 语音助手的响应速度。
不过,究竟什么才算优秀的决策模型,目前仍缺乏明确标准。除了 " 能够满足用户需求 " 之外,模型在智能水平、成本、置信度校准和速度之间的最优平衡,似乎会因具体工作负载而有所不同。
TypeSafe 首席执行官迪奥戈 · 阿尔梅达(Diogo Almeida)对基准测试持怀疑态度,并鼓励用户在实际工作中测试模型。
但即便是 TypeSafe,也在上周发布最新版 Jev 模型的同时,公布了自己的模型排行榜。
最新版 Jev 新增了多项功能,包括图像支持和智能条件判断语句(smart-if statements)。
AIM System One Index 和 Artificial Analysis Decision Index 等公开基准测试,更倾向于支持 Liquid 上周推出的新型决策模型 D1 Ultra,以及 Base Lab 的 Elephant-1。
最新版 Jev 模型在上述两个排行榜中仍具有竞争力,分别位列第七和第三;相比之下,OpenAI 的 Decision Model 分别排名第八和第十四。
不过,就目前而言,TypeSafe 的模型仍是 OpenRouter 平台上查询使用最广泛的决策模型。
最有趣的 Jev 基准测试则是 JevMan。这项测试要求决策模型玩经典游戏《吃豆人》(Pac-Man),最新版 Jev 模型在该排行榜上位居榜首。
开发这项基准测试的 Opper AI 首席增长官费利克斯 · 温德利希(Felix Wunderlich)表示,这款经典游戏 " 是一项有趣的测试,因为玩家必须连续不断地作出快速且事关成败的决策。每到一个岔路口,模型都必须在几百毫秒内决定前进方向 "。
OpenAI 的模型可以说拥有更强的综合能力,而其潜在优势可能在于多模态处理。
汉达向 TechCrunch 表示,在图像分类方面,"Luna 的能力极其强大,而且表现出了更好的置信度校准效果 "。
他补充称,OpenAI 客户还希望 Decisions API 能够更加灵活地将图像作为输出结果。
汉达认为,推理速度的进一步提高还将催生新的应用场景。
他表示:" 我们能不能将延迟降低到大约 60 毫秒?如果能做到,你就可以想象这样一种 API 调用方式:比如,对视频中的每一帧都调用一次 API。"
随着这些模型变得越来越快、越来越便宜,我们可以预期,它们将印证 Jev 名称所致敬的那位经济学家的理论:当一种资源的使用效率提高时,其应用反而会变得更加普遍。
换句话说,正如汉达所认为的那样,决策模型将催生越来越多 " 令人难以想象的应用场景 "。这些场景其实一直就在眼前,只是直到决策模型出现后,人们才真正发现它们的可能性。


登录后才可以发布评论哦
打开小程序可以发布评论哦