硅星人 1小时前
实测无界方舟Edge0-145B:做最强端侧智能,真正成为生产力
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

很长一段时间里,端侧 AI 都像是云端智能的妥协版。

为了塞进耳机、手机和电脑,模型只能在能力和资源之间做取舍:参数小一点,占用少一点,模型笨一点,能干的活也跟着少一点。谈起端侧 AI,功耗、内存、时延总是绕不过去。于是有了一个常见的分工:日常简短交互留在本地,复杂任务还得上云。

" 所有数据留在本地,模型可以反复调用,不必为每一轮推理付费 ",这个最具想象力的画面始终没有到来。

现在,无界方舟正在改变这件事,提出了新的破题思路,一跃成为了「高智力端侧 AI 的开创者」。

他们最新发布的 Edge0-145B,目标不再是给云端「打配合」,而是奔着替代云端大模型去的。

11 月 13 日,无界方舟发布了新一代模型 Edge0-145B、Edge0-120B,并开放模型权重及配套推理框架。其中,145B 的模型激活参数约 10B,定位是在一台高配个人电脑上,完成过去依赖云端模型的复杂工作。

从无界方舟公布的评测数据来看,至少在智能体编程上,Edge0-145B 已经和云端模型坐在了同一张桌子上。

在 DeepSWE 1.1 上 Edge0-145B 得分 64.6,Terminal-Bench 2.1 上得分 86.5,均高于 DeepSeek-V4-Flash-0731 的 54.4 和 82.7。

官方释出的测试案例也能看出这一点。三维建模、游戏开发、PCB 设计、无人机程序、视频制作 ...... 都是此前云端大模型评测里的常见任务。

例如一个 3D 建模任务,无界方舟把同一份需求交给了三个 AI:GPT-6 Astra、Claude Opus 4.8,以及自家的 Edge0-145B。同样的提示词、同样的参考图、同一条镜头路线,各自搭一座中世纪湖畔城堡,并交付一段飞越镜头。

从效果来看,三者的完成度接近,肉眼不容易拉开差距。在这个任务上,端侧模型没有掉队。

还有一个 PCB 的设计任务,进一步把话题推到专业工作。模型要同时理解两类软件:先在 KiCad 里完成元件布局和双层走线,再把设计导进虚幻引擎 5,设好镜头和灯光,生成制造和组装过程的动画。

过去,这需要硬件工程师和三维设计师接力数天才能完成;现在,一台电脑就能独立交付。原理图、版图这些硬件企业最核心的资产,全程无需上传云端,商业机密和数据合规都有保障。

端侧模型比了这么多年的「能不能跑」,现在要开始比「聪不聪明」了。

早在今年 9 月,无界方舟就开源了 Edge0-35B,是全球第一个能在手机上流畅跑起来的 350 亿参数端侧模型。峰值内存不到 2.5GB,在 iPhone 18 上的生成速度超过 37 token/s。海外发布帖当天阅读量突破 120 万,来自 OpenAI、NVIDIA、高通等公司的多位技术专家和研究员转发,模型随即登上 Hugging Face 全站 Trending 榜第一。无界方舟同时开源了模型权重和统一推理框架,成为了其他端侧企业和研究机构复刻的标准解法。

35B 百亿参数的端侧模型,代表着高智力端侧 AI 首次从理论走向产业落地;而 145B、120B 千亿参数端侧大模型,则代表着端侧智力水平首次可以比肩云端模型。

我们也实测了一番。

实测:端侧 Edge0-145B 模型,确实抗打

端侧模型过去的取舍,有充分的现实理由。

一部手机的内存要分给系统、相机、浏览器和各种应用;一副耳机还要考虑电池、体积和散热。模型能跑只是第一步,它还得回得快、不烫、不抢资源。

过去,把模型做小、把复杂需求交给云端,是这些约束下的不得已选择。

但这也挡住了端侧 AI成为真正生产力的可能性,无法运用到真实工作中。

一个编程助手要读项目、改代码、跑程序、看报错,再接着改;一个三维助手要理解需求、操作软件、检查渲染;一个办公助手要按主题做一份能直接用的 PPT。这些活值钱的地方,不在某一步的推理,而在从头到尾做完、交付出可用的结果。

如果端侧只能接住最轻的一小段,主要工作还是得送回云端。

这首先影响的就是成本。靠云端 API 的产品,要一直付推理费;复杂任务里的工具调用、错误修复、反复修改,又会把链路拉长,账单跟着涨。把更多计算留在用户设备上,云端支出就能降下来。以一名开发者 Vibe Coding 为例,每天 8 小时约 1,000 万 token,每月按 22 个工作日计,一年可以省下 5-10 万元支出。以 B 端企业为例,云端 token 成本每年高达数百万到几十亿不等,端侧 AI 可降低 90% 以上的成本。

其次是数据隐私。当模型开始读内部代码、工程图纸、合同和财报,资料在哪儿处理、哪些服务能碰,直接决定产品能不能进工作流程。而端侧 AI 可以让更多处理都发生在设备里,满足隐私合规的要求。

要把这两项优势带进更复杂的工作,本地模型就得在有限的硬件资源下拥有更高智能。

这也是 Edge0-145B 的亮点所在。

设备要求上,Edge0-145B 最低可在配备 12GB 显存、20GB 系统内存的 PC 上运行,也支持配备 48GB 统一内存的 Mac。

功耗上,在搭载 RTX Spark 的笔记本电脑上运行 Edge0-145B,整机功耗为 80W 。对于需要连续调用工具、反复修改的任务,这意味着设备能够维持工作状态,避免模型刚开始跑得顺,后面却因发热明显降速。

速度上,Edge0-145B 的预填充速度为 1,100+ token/s,解码速度为 80+ token/s。前者可以理解为处理输入材料的速度,后者是生成新内容的速度,这两段都足够快,多轮任务才不会把大量时间消耗在等待上。

此外, Edge0-145B 还支持 128K – 256K 上下文,并且在长文本下速度基本不衰减,长时间的复杂任务也不会越跑越慢。

我们通过三个案例来实测了它的智能表现,全程没有手动修改代码或交付文件,都由模型自己推进。

测试一:3D 建模

提示词:请用 Blender 制作一座雨后黄昏的微缩未来城市,像一件精致的桌面模型。城市建在一个方形底座上,包含约 12 栋高低错落的建筑、一条穿过城市的高架轨道、一座小公园和几辆车。建筑有暖色窗光,局部有青蓝色霓虹,路面有雨后反光。整体采用有设计感的低多边形风格,保证建筑轮廓和街区关系清晰。请自行完成建模、材质、灯光和相机设置。先渲染查看效果,再根据结果做一轮调整,重点检查建筑穿插、画面过暗和主体被遮挡的问题。交付可继续编辑的 .blend 文件,以及一张城市全景和一张街区近景的渲染图。

模型按要求跑完了流程,在完成初次建模与渲染后,继续进行了检查和调整,最后交回可编辑的 .blend 文件,用户也能够打开文件,修改布局、材质和镜头,继续创作。

测试二:游戏制作

提示词:Make a 3D game with Three.js in a single index.html I can open in my browser.Use the arrow keys to roll a ball across a floating obstacle course. Collect gems for points, cross narrow bridges and ramps, and avoid moving blocks. Press Space to jump. Falling off returns the ball to the last checkpoint without losing points.Use colorful scenery, soft lighting, responsive controls, and a smooth follow camera. Each round lasts 60 seconds. Show the score and timer, and include a start screen, final score screen, and restart button.Build all objects procedurally. Run and test the game, fixing any issues before delivering the file.

第二个任务是用 Three.js 制作一个 3D 游戏:用方向键控制小球,穿过悬浮赛道,收集宝石,越过桥梁和坡道,躲开移动障碍,还要有跳跃、检查点、计时和重新开始。

它交回了一个 index.html,浏览器打开就能流畅地玩。地形、宝石、桥和移动方块由程序生成,没有使用现成的场景素材。

测试三:PPT 制作

提示词:请制作一份 6 页中文 PPT,主题是 " 一家开到深夜的社区书店咖啡馆 ",用于向潜在合伙人介绍这个项目。内容包含项目概念、目标顾客、空间与体验、产品与活动、收入来源、开业计划。项目名称由你来取,已有资料发给你了。整体呈现独立杂志的质感,使用奶油白、深绿色和少量暖橙色,搭配大标题、空间示意图和适当的图片。每页有清晰的视觉重点,控制文字量,避免连续使用相同版式。请直接完成 PPT,交付可编辑的 .pptx 文件和整套页面预览图。完成后检查文字溢出、元素重叠和图片显示。

第三个任务更接近日常办公。在这个过程中,模型还做了大量的细节检查工作,根据我们给到的资料进行了修正,最后输出的结果基本没有错漏。

为了让硬件带得动,他们重构了模型

无界方舟选择提高端侧智能,但硬件约束依然存在。之所以能达到目前的效果,是因为他们把硬件约束提前纳入了模型结构与训练设计。

总体可以从四步设计来理解模型架构的调整。

第一步,改造专家,减少需要存放和搬运的权重。

混合专家模型在处理每个 token 时,只选择其中少数专家参与计算。但少计算,不等于少存储。没有被选中的专家,参数仍然需要保存在设备里;需要调用时,还得及时读取。

Edge0-145B 进一步采用分组共享结构。 64 个专家共享两段大矩阵,各自保留少量差异化专家参数。专家数量得以保留,需要分别保存的权重则有所减少。

稀疏调用减少每一步需要计算的专家,共享结构则减少专家需要分别保存和搬运的数据。 两者从不同环节一起降低了设备的运行负担。

第二步,让模型适应新的结构和低精度条件。

更进一步,权重还能用更低的精度存储,从而让每个参数占的地方更小。但往往结构一改、精度一降,模型的能力就可能掉。

按照公开模型卡,无界方舟改造专家层后,进行了较长的后训练,并在训练中考虑 4 比特运行条件,让模型适应部署时的结构与精度,继续学编程、推理、调工具。

这一步需要保住的,是节省资源之后的任务能力。模型即使占用更少,如果频繁出错、需要用户不断接手,复杂工作仍然难以交给它。

第三步,让显存、系统内存和 SSD 分工。

完成结构和精度调整后,完整模型仍然不小,接下来还需要决定:哪些数据留在最快的位置,哪些可以按需读取。

显存访问快,但容量有限。公开方案让高频调用的 " 热专家 " 尽量驻留显存,其余专家由系统内存承载;体积较大的 PLE 嵌入表则存放在 SSD 上,按需读取。嵌入表可以简单理解为模型使用的一类大型查表数据。

这些数据仍然占空间,但不必全部挤在显存里。显存、系统内存和 SSD 各自承担一部分,设备才有机会容纳完整模型。

第四步,把读取和计算安排得更紧密。

分散存放解决了容量分配,也带来了新的等待。如果每一步都要先把数据搬过来,再开始计算,生成速度仍然会被传输拖慢。

在 NVIDIA 显卡部署方案中,配套引擎让 GPU 计算已驻留显存的专家,CPU 分担部分未驻留专家的计算,并协调数据传输,让不同部分尽量同时工作,减少相互等待。

与此同时,投机解码先提出多个候选 token,再由主模型验证。一轮验证如果能够接受多个候选,就能把部分读取和计算开销分摊到更多输出上。

这样,前面在结构、精度和存储上的调整,才能进一步转化为用户感受到的生成速度。

端侧原生的意义就在于,模型以怎样的结构组织参数、以怎样的精度运行,以及参数如何被读取,都要围绕硬件设备的条件展开。

让每种硬件都拥有自己的最佳智能

Edge0-145B 展示了无界方舟不断抬高端侧智能上限的发展方向。但要看清这家公司的路线,还需要把目光从个人电脑移向更多设备。

手机、电脑、眼镜、耳机等设备拥有不同的硬件配置条件,也承载着不同需求。电脑可以提供更大的内存与散热空间,承担起编程和三维创作等 Vibe Coding 工作;耳机、眼镜更看重低功耗与及时响应;手机需要兼顾复杂智能体任务和其他应用。

提高端侧智能,需要为这些差异分别找到合适的模型和运行方式。

过去一年,无界方舟已经形成四个模型家族:Audio8 负责听说交互,Decision0 面向快速决策,Edge0 承担复杂推理和智能体任务,Embedding0 支持记忆与检索,参数规模从千万级延伸到千亿级。

组合到不同设备里,耳机看重「听得清、回得快」,可以搭载负责听说交互的 Audio8 和面向快速决策的 Decision0;手机和个人电脑需要更复杂的任务能力,则由不同规模的 Edge0 承接—— 35B 面向手机等设备,120B、145B 进一步承担电脑上的项目理解、软件调用和连续排错。

这条路线的目标,是在每一种设备能够承受的资源范围里,提高它的智能水平,使其能够独立完成更复杂的任务。

这也解释了模型研发之外,推理框架与芯片适配的重要性。

同一个模型进入不同硬件后,要重新处理算力、带宽、精度支持、散热,还要跟系统里其他软件争资源。目前,Edge0 家族已经适配了 95% 的主流芯片平台,包含高通、恒玄、瑞芯微、全志、地瓜、英伟达等。产业合作覆盖了耳机、眼镜、手机、PC、机器人等终端设备。

每适配一颗新的芯片、每部署一个模型、每落地一款产品,都会沉淀可复用的经验;下一次进入新硬件时,就能更快判断 " 这款产品能承担什么任务、模型和引擎还要怎么调 "。这是一个持续迭代的过程。

现在,这个过程已经形成了飞轮。

数据显示,无界方舟的开源模型三个月内下载已经超过了 1500 万次,多次登顶 Hugging Face 趋势总榜;截至 2026 年 10 月,企业客户突破 11 万家。

开发者可以把模型放进自己的环境,观察它与现有软件配合的情况,也让不同配置下的表现有机会得到外部检验。

而商业落地则需要回答更具体的问题:端侧究竟接住了多少需求?在无界方舟披露的一项耳机端云协同案例中,约 92% 的 AI 使用由端侧承担,其余部分交给云端。

新发布的 Edge0-145B 更进一步把目光投向了个人电脑。可以预见的是,端侧 AI 的下半场,会发生在那些用户原本必须为云端智能付钱的工作里。

无界方舟,已拉开高智力端侧 AI 的序幕。

如果想要体验无界方舟端侧模型,请点击链接

https://www.autoarkai.com/model-detail/llm-145b

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 无人机 效果 编程 3d建模
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…