日前 OpenAI 方面宣布,自 2025 年 4 月 30 日起旗下 AI 聊天机器人 ChatGPT 将停用 GPT-4 模型,并全面启用新型原生多模态模型 GPT-4o。据了解,GPT-4 从 ChatGPT 下线后,开发者仍可通过 API 调用。
对此 OpenAI 方面表示,"GPT-4 标志着 ChatGPT 演变中的一个关键时刻,我们对它所带来的突破以及帮助塑造其继任者的反馈表示感谢。GPT-4o 在此基础上构建,提供更强大的能力、一致性和创造力 "。
OpenAI 方面还进一步指出,GPT-4o 在写作质量、编程辅助、STEM 领域全面超越 GPT-4,并且近期其还进一步升级改善了 GPT-4o 的指令遵循、问题解决和对话流程。
值得一提的是,继此前在今年 2 月 OpenAI 发布 GPT-4.5 模型,并表示这是其迄今为止 " 规模最大、性能最强的聊天模型 ",以及最后一个 " 非思维链模型 " 后。
在日前的一档播客节目中,OpenAI 首席执行官 Sam Altman、首席系统架构师 Amin Tootoonchian、GPT-4.5 模型预训练负责人 Alex Paino、数据效率研究员 Daniel Selsam 等人透露,GPT-4.5 的训练从两年前就已经开始,并且从一开始公司对 GPT-4.5 的预期就是比 GPT-4" 智能 10 倍 ",但由于训练中涌现的意外问题,最终实现这个目标所用的时间远比最初预想的要多。
其中关于 GPT-4.5 的训练难点,Amin Tootoonchian 举例到,当从用 1 万块 GPU 训练扩展到 10 万块 GPU 训练模型时,会出现各种 " 系统波动 ",例如 " 低概率事件 " 会升级成 " 灾难级问题 "。
Alex Paino 则透露,GPT-4o 实际正是在 GPT-4.5 的研究过程中诞生的。并且他还指出,得益于 GPT-4.5 相关技术的突破,复现 GPT-4 的门槛已大幅降低。据其表示,相比 OpenAI 曾经几乎动用了整个公司的资源训练 GPT-4," 我觉得现在要重训一个 GPT-4 级别的模型,大概只需要 5-10 人就够了 "。
此外上述 OpenAI 高层及技术人员还指出,随着 GPT-4.5 的面世,该公司的技术瓶颈已从算力转向 " 数据效率 "。
其中 Dan Selsam 就指出,"Transformer 和 GPT 的一大优势是能非常高效地吸收数据。它能提取信息、能压缩和泛化,这几乎是它的核心特征。但它所能从一段数据中提取出的深层洞见是有限的。所以当你的算力一直增长,而可用数据量增长很慢时,就会出现数据成为瓶颈的问题。这时就需要在算法层面有突破:用更多算力,从同样数据中学得更多。
【本文图片来自网络】
登录后才可以发布评论哦
打开小程序可以发布评论哦