量子位 10-23
太疯狂了!Meta裁员裁到田渊栋头上,连组员一锅端
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

很疯狂,Meta AI 裁员能裁到田渊栋头上,而且是整组整组的裁。

田渊栋在 Meta 工作已超过十年,现任 FAIR 研究科学家总监(Research Scientist Director),他领导开发了早于 AlphaGo 的围棋 AI"Dark Forest",近期在大模型领域也推出了整合快慢思考的 Dualformer 模型、以及开创性的 " 连续思维链 "(Coconut)范式。

这样一位大佬突然面临找工作了,OpenAI 以及各路初创公司反应都很快,直接开始在评论区排队抢人。

看来这次由新任首席 AI 官亚历山大王主刀的 Meta AI 大裁员,不只是明面上精简组织那么简单,

田渊栋其人

田渊栋拥有上海交通大学计算机系的本科和硕士学位,随后在卡内基梅隆大学(CMU)机器人研究所获得博士学位。

他的职业生涯始谷歌无人驾驶汽车项目组担任软件工程师。

约在 2014 年,田渊栋加入 Facebook(现 Meta)的人工智能研究院(FAIR),至今已近十年。

在 DeepMind 的 AlphaGo 震惊世界之前,田渊栋团队已在围棋 AI 领域取得重要进展。

2015 年,田渊栋主导发布了围棋 AI"Dark Forest",达到了顶尖业余棋手的水平。在 AlphaGo 之后,田渊栋团队基于 AlphaGo Zero 和 AlphaZero 的算法,完成了开源复现项目 ELF OpenGo,仅靠单 GPU 就能战胜世界顶级的人类选手。

2017 年起,田渊栋的研究重心转向 AI 的可解释性与基础原理

2019 年,OpenAI 联合创始人 Ilya Sutskever 曾邀请田渊栋加入,共同研发语言模型,田渊栋因希望专注于 " 理解神经网络模型的工作原理 " 而拒绝了邀请。

语言模型爆发后,Transformer 成为 AI 研究最重要的工具,田渊栋还是坚持他认为更根本的的研究道路,不是简单训练发布模型,而是致力于提高 LLM 在复杂推理和规划任务上的能力。

下半年开始,他在 AIR 负责领导一个专注于规划和推理方向的团队,团队规模约为 10 人,展开了一系列研究。

内存高效的训练方法 GaLore: 将预训练 7B 模型所需的内存压缩至 24GB 以内,使得在单张消费级显卡(如 RTX 4090)上进行预训练成为可能

快慢思考整合 Dualformer:通过在训练中随机移除推理链的部分步骤,使模型能够动态切换 " 快思考 "(对简单问题直接给出答案)和 " 慢思考 "(对复杂问题展开深入推理)

Coconut 连续思维链:不再依赖离散的自然语言思维链,而是将推理轨迹压缩并保留在连续的隐空间中。

理论探索 CoGO:揭示了由梯度下降获得的神经网络解与代数结构之间存在关联,增加了对神经网络表示能力的理解。

就在刚刚过去的 9 月,他还发表了一篇独作论文,揭示了揭示了关键超参数对 " 顿悟 "(Grokking)中扮演的角色,从梯度动力学的第一性原理揭示了为什么像 Muon 这样的最新优化器可以有效的根本原因。

……

One More Thing

除了科研,田渊栋也是一位科幻小说家,第一部长篇小说作品《破晓之钟》于 2024 年出版。

在他的 2024 年个人年终总结里,还透露接下来的第二部长篇小说会尝试使用 AI 辅助写作。

他在职场遭遇的疯狂经历,能化作创作的灵感也说不定。

参考链接:

[ 1 ] https://x.com/tydsh/status/1981167436859920861

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

—    —

  年度科技风向标「2025 人工智能年度榜单」评选报名火热进行中!我们正在寻找 AI+ 时代领航者  点击了解详情

❤️‍   企业、产品、人物 3 大维度,共设立了 5 类奖项,欢迎企业报名参与   

一键关注 点亮星标

科技前沿进展每日见

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

裁员 alphago ai 亚历山大 机器人
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论