全天候科技 昨天
AI“众神之战”:对抗“星际之门”,扎克伯格要建“普罗米修斯”
index.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

Meta 正在发起一场史无前例的战略转型,以扭转其在基础模型竞赛中的落后局面。

7 月 15 日据华尔街见闻,Meta 首席执行官扎克伯格周一表示,将投资数千亿美元建设几座大型数据中心,其中首个数据中心普罗米修斯(Prometheus)预计将于明年投入使用。

据报道,Meta 正在效仿 xAI,采用更灵活、建设速度更快的 " 帐篷式 " 数据中心设计,并同时在俄亥俄州和路易斯安那州秘密建设两个 " 吉瓦级 "(GW)的超级计算集群,项目内部代号分别为普罗米修斯(Prometheus)和亥伯龙(Hyperion)。

在创始人扎克伯格的亲自推动下,这家年现金流高达千亿美元的广告巨头正不计成本地重金投入算力基础设施顶尖人才,旨在追赶并超越 OpenAI 等竞争对手,其核心目标直指 " 超级智能 "。

算力为王:从 " 帐篷 " 到 " 吉瓦级 " 集群

为了快速获得海量算力,Meta 已将过去十年的数据中心建设蓝图束之高阁。

据报道,扎克伯格决定再次革新战略,拥抱一种将建设速度置于首位的全新设计。这种受 xAI 启发的 " 帐篷式 " 结构,采用预制电力和冷却模块以及超轻型结构,牺牲了部分冗余(例如备用柴油发电机),以求尽快让 GPU 集群上线运行

为实现这一目标,Meta 正在推进两项庞大的基础设施项目:

普罗米修斯(Prometheus)集群:位于俄亥俄州,一个规模高达 1 吉瓦的 AI 训练集群。Meta 采取了 " 全方位 " 策略,整合了自建园区、第三方租赁以及现场天然气发电等多种方式。据报道,该项目旨在通过超高带宽网络连接所有站点,形成统一的后端网络。为了解决当地电网的供电瓶颈,Meta 甚至效仿马斯克,正在建设两座 200 兆瓦的现场天然气发电厂

亥伯龙(Hyperion)集群:位于路易斯安那州,规模更为宏大,旨在全面超越 OpenAI 备受瞩目的星际之门项目。据报道,Hyperion 的一期工程的 IT 功率就将超过 1.5 吉瓦,预计到 2027 年底成为全球最大的单一 AI 数据中心园区。

这些举措的目标非常明确:让 Meta 在人均算力资源上从 "GPU 贫乏 " 转变为 "GPU 极其富有 ",使其训练算力规模能与 OpenAI 等头部实验室相匹敌。

Llama 4 之殇:复盘技术与战略根源

Meta 的激进转型,源于其 Llama 4 Behemoth 大模型的失败。在 Llama 3 一度引领开源模型浪潮后,这次失败使 Meta 的声誉受损。

据报道,失败的技术根源主要包括以下几点:

架构选择失误:模型采用了 " 分块注意力 "(Chunked Attention)机制以追求长文本处理效率,但这在块与块的边界造成了 " 盲点 ",损害了模型的长程推理能力。此外,模型最初采用的 " 专家选择路由 "(Expert Choice Routing)虽然提升了训练效率,但在推理阶段表现不佳,中途切换回 "Token 选择路由 "(Token Choice Routing)又导致专家分工混乱。

数据质量瓶颈:在训练中途,团队从使用公共数据集转向其新建的内部网络爬虫,但在数据清洗和去重方面准备不足。更重要的是,与其他顶尖 AI 实验室不同,Meta 没有利用 YouTube 的海量视频与文本数据,这可能限制了其多模态能力的开发。

扩展与评估短板:报道指出,Llama 4 团队在将研究实验扩展到大规模训练上遇到了困难,缺乏有力的领导来统一技术路线。同时,Meta 在强化学习和内部评估基础设施方面也相对落后,未能及早发现架构选择中存在的问题。

报道认为尽管 Llama 4 本身失败了,但 Meta 仍通过模型蒸馏技术,将其知识迁移到更小的 Maverick 和 Scout 模型中。

弥合差距:豪掷千金与战略收购

在重整算力基础设施的同时,扎克伯格将战略重心转向了另一个关键要素:人才。他深知 Meta 与顶尖 AI 实验室之间的人才差距,因此亲自负责为一个全新的 " 超级智能 " 团队招募成员。

据报道,Meta 为顶尖研究员开出的薪酬方案通常高达 4 年 2 亿美元,部分关键岗位甚至收到了被拒绝的 10 亿美元级别报价。

这一策略不仅是为了吸引人才,也是为了抬高竞争对手的用人成本。近期加盟的知名人士包括前 GitHub CEO Nat Friedman,以及与 Ilya Sutskever 共同创立 SSI 的 Daniel Gross。

在人才策略之外,战略收购成为另一大支柱。对 Scale AI 的投资被视为关键一步,远非 " 退而求其次 "。

据分析,此举直接针对 Llama 4 暴露出的数据和评估短板。

Scale AI 的创始人 Alex Wang 及其专精于模型评估的 SEAL 实验室将为 Meta 带来急需的能力,尤其是其开发的推理模型评估基准 HLE(Humanity ’ s Last Exam),将有力弥补 Meta 的不足。

评论
大家都在看