来自 OpenAI、谷歌等公司的小部分但日益增长的 AI 开发者群体认为,当前的技术路径无法实现生物学、医学等领域的重大突破,也难以避免简单错误。这一观点正在引发行业对数十亿美元投资方向的质疑。
据 The Information 周二报道,上周在圣地亚哥举行的神经信息处理系统大会(NeurIPS)上,众多研究人员讨论了这一话题。他们认为,开发者必须创造出能在部署后持续获取新能力的 AI,这种 " 持续学习 " 能力类似人类的学习方式,但目前尚未在 AI 领域实现。
这些质疑声与部分 AI 领袖的乐观预测形成对比。Anthropic 首席执行官 Dario Amodei 上周表示,扩展现有训练技术就能实现通用人工智能(AGI),OpenAI 首席执行官 Sam Altman 则认为两年多后 AI 将能自我改进。但如果质疑者是对的,这可能令 OpenAI 和 Anthropic 明年在强化学习等技术上投入的数十亿美元面临风险。
尽管存在技术局限,当前 AI 在写作、设计、购物和数据分析等任务上的表现仍推动了收入增长。OpenAI 预计今年收入将增长两倍以上至约 130 亿美元,Anthropic 预计收入将增长逾 10 倍至约 40 亿美元。
核心争议:AI 能否像人类一样学习
亚马逊 AI 研究部门负责人 David Luan 明确表示," 我敢保证,我们今天训练模型的方式不会持续下去。" 多位参加 NeurIPS 的研究人员也表达了类似观点,认为实现类人 AI 可能需要全新的开发技术。
OpenAI 联合创始人兼前首席科学家 Ilya Sutskever 上月表示,当前一些最先进的 AI 训练方法无法帮助模型泛化,即处理包括未曾遇到过主题在内的各种任务。在医学领域,持续学习可能意味着 ChatGPT 能识别医学文献中不存在的新型肿瘤,而非需要在大量先例上训练。这将使其表现得像能基于单一案例发现规律的人类放射科医生。
在 NeurIPS 的主题演讲中,阿尔伯塔大学教授 Richard Sutton ——被称为强化学习之父——同样表示,模型应能从经验中学习,研究人员不应试图通过人类专家创建的大量专业数据来提升模型知识。他认为,当人类专家达到知识极限时,AI 的进步就会 " 最终受阻 "。相反,研究人员应专注于发明能在处理实际任务后从新信息中学习的 AI。
技术突破尝试与现实障碍
NeurIPS 上展示的多篇重要研究论文探讨了这一主题。麻省理工学院和 OpenAI 的研究人员提出了 " 自适应语言模型 " 新技术,使大模型能利用现实世界中遇到的信息获取新知识或提升新任务表现。
例如,当 ChatGPT 用户要求分析此前未见过的医学期刊文章时,模型可能将文章改写为一系列问答,用于自我训练。下次有人询问该主题时,它就能结合新信息作答。部分研究人员认为,这种持续自我更新对能产生科学突破的 AI 至关重要,因为它将使 AI 更像能将新信息应用于旧理论的人类科学家。
然而,技术局限已拖慢企业客户对 AI 代理等新产品的采购。模型在简单问题上持续犯错,AI 代理在缺乏 AI 提供商大量工作确保其正确运行的情况下往往表现不佳。
商业影响:收入增长与投资风险并存
如果 Luan 和 Sutskever 等质疑者的观点正确,这可能令开发者明年在强化学习等流行技术上的数十亿美元投资受到质疑,包括支付给 Scale AI、Surge AI 和 Turing 等协助此类工作的公司的费用。Scale 发言人 Tom Channick 对此不同意,称使用持续学习的 AI 仍需要从人类生成数据以及 Scale 提供的强化学习产品中学习。
尽管如此,即便没有新突破,AI 开发者似乎也能产生大量收入。OpenAI 和 Anthropic 三年前几乎没有收入,如今从聊天机器人和 AI 模型销售中获得可观营收。开发 AI 应用的其他初创公司,如编码助手 Cursor,预计未来一年将集体产生超过 30 亿美元的销售额。
行业竞争:谷歌反超引发动荡
研究人员还讨论了大型开发者之间的 AI 竞赛。谷歌的技术在某些指标上已超越竞争对手,Altman 已告诉 OpenAI 准备迎接 " 艰难氛围 " 和 " 暂时的经济逆风 "。
在与谷歌 AI 团队的问答环节中,多位与会者询问该团队如何改进预训练流程——这正是 OpenAI 今年大部分时间都在努力解决的问题。谷歌研究副总裁 Vahab Mirrokni 表示,公司改进了用于预训练的数据组合,并找到了更好管理数千个谷歌设计的张量处理单元的方法,从而减少了硬件故障对模型开发流程的干扰。
OpenAI 领导层最近表示,他们已能类似地改进预训练流程,开发出代号为 Garlic 的新模型,相信未来几个月能与谷歌竞争。


