量子位 6小时前
打破56年数学铁律!谷歌AlphaEvolve自我进化实现算法效率狂飙,堪比AlphaGo“神之一手”
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

数学能力几乎和 AlphaGo 的围棋水平一样?!

这是研究员对 AlphaEvolve 的最新评价,就在不久之前,谷歌 DeepMind 联合陶哲轩等一众顶尖科学家打造了「通用科学人工智能」AlphaEvolve,直接打破了矩阵乘法领域 56 年以来的效率基准。

一位谷歌前员工更是将这一成就类比为传说中的 " 神之一手 ":

太疯狂了!AlphaEvolve 的数学能力相当于 AlphaGo 打败人类的 " 神之一手 " 第 37 步。

具体而言,4x4 矩阵乘法49次标量乘法效率基准已经持续 56 年,而 AlphaEvolve 直接将这个数字改写为48

别看数字只前进了一小步,但背后所代表的更快的矩阵乘法算法可谓意义重大。

不仅可以解决复杂数学难题,还能用来改进芯片设计、提高数据中心和 AI 训练的效率。

在谷歌内部使用中,它将 Gemini 架构中大型矩阵乘法运算加速了 23%,从而将 Gemini 的训练时间缩短了 1%,并且还将 FlashAttention 提速了 32.5%。

那么接下来的问题是——

AlphaEvolve 是如何做到的?背后藏着哪些核心技术原理?

在 AlphaEvolve 发布后的第一时间,知名播客《Machine Learning Street Talk》第一时间采访到了其背后的两位核心研究员:Alexander Novikov(左下)和 Matej Balog(右下)。

在 1 个多小时的交谈中,关于 AlphaEvolve 如何改进矩阵乘法的详细过程、背后的技术原理以及中间遇到了哪些问题来了个一次性大公开。

网友们纷纷表示,很高兴看到更多干货流出 ~

Okk,以下为重点内容整理。

秘诀在于让 AI" 完全自由探索 "

AlphaEvolve 的一大作用,就是推进数学和算法发现的前沿。

其中最重要的成果之一,当属改进了 Strassen 于 1969 年提出的算法,它发现了一种使用 48 次标量乘法来对 4x4 复值矩阵进行乘法运算的算法。

关于取得这次突破的详细过程,两位研究人员揭示了几个关键环节。

大约两年前,谷歌开发了Alpha Tensor这个专门用于发现矩阵乘法算法的强化学习 Agent,其前身就是著名的通用棋类 AI"AlphaZero",而 AlphaZero 更是在 AlphaGo 的基础上发展而来。

虽然 Alpha Tensor 确实能找到一些更快的算法,但使用范围仅限于布尔矩阵(即矩阵中的每个元素只有 0 或 1),对普通实数 / 复数矩阵无突破。

于是,AlphaEvolve 基于 Alpha Tensor 框架,进一步引入了进化算法,通过迭代生成、评估和优化候选算法来探索更优解。

与人类设计的算法不同,AlphaEvolve 不依赖一些预设的 " 经验法则 " 或 " 设计套路 ",比如习惯将问题固定分块(几 X 几),而是完全放开限制自由探索。

之所以这样做,是因为传统算法的 " 对称性陷阱 " 可能将搜索空间限制在局部最优(如 49 次乘法),从而错过更高效但结构非常规的算法。

最终,当研究人员主动让 AlphaEvolve 搜索复数矩阵乘法算法(比实数更一般化)时,他们意外发现复数算法在实数域同样有效

因此他们立即扩大搜索空间(更复杂的运算组合),结果找到了一个仅需48 次乘法的复数算法,优于 Strassen 递归的 49 次,并且该算法也进一步通过了数学验证。

而在突破 4x4 矩阵乘法算法后,他们还挑战了规模更大的矩阵,如 5 × 5、6 × 6 矩阵。

不过遗憾的是,AlphaEvolve 未能超越现有最优解(如 6 × 6 因搜索空间爆炸且未引入对称性偏置)。

研究人员表示,这可能是因为更大矩阵需要特定归纳偏置(如对称性)来缩小搜索空间,而 AlphaEvolve 的通用性在此成为劣势。

换句话说,今后人们还需要在完全开放搜索约束之间寻找平衡。

但不可否认的是,AlphaEvolve 的一大优势在于开箱即用,研究员 Matej Balog 表示:

它不仅能用于数学和科学问题的新发现,还能找到可以直接部署到谷歌关键计算堆栈中的算法。

这对我来说是前所未有的体验,甚至超出了我的预期。

AlphaEvolve 背后核心技术

AlphaEvolve 不是试图生成解决方案,而是像 inception 一样生成生成解决方案的东西,它能够设计非常先进的算法。

研究人员提到,AlphaEvolve 的高级架构是一种进化算法。对于系统提供的任何代码段,都可以自动评价它是否好以及有多好,然后继续迭代。

在这种评估和迭代的循环中,系统能够识别最好的代码,然后将它 " 喂 " 给 LLM。

Gemini 大语言模型体系

AlphaEvolve 以Gemini FlashGemini Pro模型为基础,同时调用二者的功能。

Gemini Flash 用于提升速度,快速处理大量数据、广泛洞察信息,在生成算法代码时,能够快速筛选大量代码片段。

Gemini Pro 负责提升深度理解,深入挖掘潜在规律,在筛选的代码片段中选择最符合需求的部分进行整合。

进化算法框架

进化算法是 AlphaEvolve 实现算法优化创新的核心机制。

借鉴" 适者生存 "理念,对 Gemini 大语言模型生成的多样化代码初始种群的每个算法进行适应度评估,对表现优异的代码保留、变异或组合,投入下一轮优化。

这种选择机制能够确保优质算法的基因被保留,在持续迭代过程中,算法种群的整体性能逐渐提升,逐渐逼近最优解。

研究人员表示,进化算法不仅应用在筛选算法的过程中,还应用于优化提示词上。比如,在改进特定问题之前,会让系统对此问题的提示词本身提出修改建议。

然后在给出的修改后的提示词中精心挑选一组能够更好地实现目标的提示。

自动化评估系统

自动化评估系统是 AlphaEvolve 对生成算法进行全面量化评价、筛选的关键模块。

通过多维度指标设定、自动化测试执行、评估结果反馈与迭代引导保障算法的持续优化。

研究人员表示,评估指标会有一个非常微妙的限制,他举了一个具体的例子,比如在问题定义中内置时间约束,只关注能够在 10 分钟之内取得进展的搜索算法,探索算法空间。

系统具备将待评估算法集成到测试环境的能力,通过多场景测试更全面地给出评估结果。

评估结果不仅用于筛选算法,还能为算法的进一步优化提供方向。

比如,某个矩阵乘法算法在准确性方面表现良好,但效率较低,那么后续的优化可能会集中在改进计算流程、减少不必要的计算步骤上。

基于评估结果,自动化评估系统会将表现优秀的算法传递给进化算法模块,作为下一代算法的基础。

异步分布式运行架构

异步分布式运行架构是 AlphaEvolve 实现高效、灵活算法优化的关键架构。

在进化算法框架中,种群的不同算法可以在异步分布式架构下并行进化,每个计算节点负责种群中的一部分个体。

例如,在与 Gemini 大模型的交互中,一些节点可以用来生成针对不同问题的算法代码,而另一部分可以用来进行数据优化处理。

在适用度评估过程中,不同的节点可以分别负责计算某个算法在准确率、效率、资源占用等不同指标上的得分。

从算法→模型,形成优化闭环

聊到最后,两位研究人员还总结了有关 AlphaEvolve 的几个重要发现。

第一,其性能直接受益于基础语言模型的提升

当前 AlphaEvolve 主要采用混合模型策略,鉴于模型性能与算法发现效率存在明确正相关,因此未来可进一步提升基础模型能力。

第二,当前已初步实现递归自我改进,即 AI 已经展现出自我增强的潜力。

一旦将改进后的算法应用到基础模型,最终将形成一个自我优化的闭环。例如一开头提到的,将 Gemini 架构中大型矩阵乘法运算加速了 23%,从而将 Gemini 的训练时间缩短了 1%。

第三,当前实际资源消耗呈现高度灵活性。

具体来说,简单问题几乎能即时解决,而类似矩阵乘法这样的复杂问题往往需数百小时计算,系统目前能自动匹配问题难度调整资源投入。

除了遵循以上发现进行改进,未来还要在核心保持人机协作的同时提升自动化水平,以代替目前人类占主导的情形。

总之,通过以上详细介绍,有网友再次意识到了 AlphaEvolve 的重要性:

我们正在开发一项能够催生真正新技术的技术。

参考链接:

[ 1 ] https://www.youtube.com/watch?v=vC9nAosXrJw&t=2766s

[ 2 ] https://x.com/deedydas/status/1922853181715087421

[ 3 ] https://x.com/SashaVNovikov

[ 4 ] https://x.com/matejbalog

—    —

 量子位 AI 主题策划正在征集中!欢迎参与专题365 行 AI 落地方案,一千零一个 AI 应,或与我们分享你在寻找的 AI 产品,或发现的AI 新动向

也欢迎你加入量子位每日 AI 交流群,一起来畅聊 AI 吧~

一键关注 点亮星标

科技前沿进展每日见

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

谷歌 数学 alphago ai 陶哲轩
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论