驱动之家 03-30
Intel全线进入AI PC时代!软硬一体 三大优势无敌
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

2023 年底,伴随着代号 Meteor Lake 的一代酷睿 Ultra 处理器的发布,Intel 正式提出了 AI PC 的新概念。

彼时,乃至之后很长一段时间内,很多人都存在相同的疑问:AI PC 和传统 PC 到底有何不同?它能替我的工作 / 生活 / 学习做什么?值得升级吗?

事实上,不仅仅是广大消费者,从业者在 AI PC 兴起之初也有类似的迷茫。

但是,困难的事总是要有人去做的,未知的路总是要有人去走的。

作为 AI PC 的发起者,Intel 凭借持续的路线图、扎实的技术、广泛的影响力、强大的号召力,联合整个业界一起,不断从软硬件各个角度推进 AI PC,尤其是推动更多的应用开发、场景落地。

令人欣喜的是,AI PC 诞生还不到一年半,就已经取得了长足的进步:

随着 Intel 酷睿 Ultra 200 系列全线布局完毕、锐炫 B 系列显卡崭露头角、至强 6 家族各系列陆续登场,AI PC 无论硬件产品还是应用场景,都越来越丰富、越来越深入。虽然距离完全成熟为时尚早,但确确实实已经迈入了全新的、实用的阶段。

尤其是这个新年,我们不止有 "DeepFeed"、"DeepSleep" 这些传统的吃吃喝喝、休闲放松,更有 DeepSeek。

DeepSeek 的重大意义,一方面是中国 AI 一次革命性的突破,另一方面是通过开源、免费,加速了 AI 普惠,无论是政企学科等各种单位机构,还是个人,都可以灵活地部署自己的大模型,无论是满血版、蒸馏版,还是微调、再训练。

DeepSeek 的炸裂表现,无疑是 AI 历史上里程碑的一幕,掀起了一股新的浪潮,带来了更多的思考,也带来了更多的机遇。

【软硬全栈:Intel 的大模型一体机部署方案】

随着 AI 大模型部署需求的高涨,尤其是 DeepSeek 的火爆,AI 通用一体机逐渐为更多人所熟知,市场上也迅速出现了大量产品,不少都直接打出了 "DeepSeek 一体机 " 的标签。

Intel 自然没有错过这一波机遇,充分发挥了自己独特的软硬件 " 全家桶 " 优势。

AI 一体机包括训推一体、模型推理、模型应用等不同类型,主要面向政务、金融、医疗、教育、制造等垂直行业领域。

它的优点有三:

一是开箱即用:硬件、模型、算法、软件等全部集成,无需再单独采购、配置、安装、调优,买回来就能用,大大降低使用门槛,而且因为是本地化部署,延迟更低,响应更快,体验更流畅。

二是隐私安全:很多企业机构的数据是不能对外的,本地化部署一体机后,可以集成本地知识库、高效智能体,一切处理都可以在本地进行,不会外传。

三是高效优化:软硬件适配优化更深入,可大大提高 AI 模型的运行效率,从而提升工作效率。

不过,DeepSeek 等大模型的本地部署,也不是完全那么简单,要重点考虑多个因素,才能达成效率和经济的最优化。

比如模型大小,是满血?还是蒸馏?

比如数据精度,是更精确但更好资源的 FP16/BF16?还是比较均衡的 FP8?抑或速度更快的 INT4/FP4?甚至更低比特?

比如上下文长度,16K-128K 如何选择?

比如吞吐能力,能否满足时延要求?

比如响应能力,TTFT ( 首个 token ) 生成时间有没有超过 5 秒?TPOT ( token 生成时间间隔 ) 是否控制在 100 毫秒之内?

Intel AI 全家桶的优势恰恰就在于,无论你想部署什么样的模型,获得什么样的输出效果,无论是在边缘侧还是在端侧 ( 当然也有云侧 ) ,都可以找到最适合自己的产品组合。

其中,至强一体机适合满血大模型,锐炫 GPU 显卡适合蒸馏模型,酷睿 Ultra 200 系列则适合蒸馏量化模型。

酷睿 Ultra 系列的全新命名,当然不完全是改个名字那么简单,更是标志着开始真正进入 AI 的新时代。

第一代酷睿 Ultra 100H 系列 ( 代号 Meteor Lake ) ,最高可提供 36 TOPS 算力,算是开始入门。

第二代酷睿 Ultra 200 系列直接提升了一个档次,200V 系列 ( 代号 Lunar Lake ) 、200H 系列 ( 代号 Arrow Lake-H ) 分别可提供最高 120 TOPS、99 TOPS 的算力,不但可以完全满足 Windows 11 AI+ PC 的需求,还为部署更大规模模型提供了支撑,14B 蒸馏模型都可以直接搞定,保证流畅体验。

除了基础的硬件算力,Intel 还有着成熟的 AI 工具链和生态支持,总能得到最先支持与最好用优化,这是竞品无法比拟的。

迄今为止,仅仅是在国内,Intel AI PC 就已经得到了 40 多家 ISV 软件开发生的适配支持。

Intel 的锐炫 GPU 显卡虽然在游戏市场占比不高,但是凭借先进的架构、大容量的显存、完善的工具链支持,也悄然成为 AI 部署的上佳之选。

最新发布的锐炫 B 系列,搭配酷睿 Ultra 200 系列处理器,单用户单卡即可部署 14B 模型 ( FP8/INT4 ) ,双卡的话可以支持 32B+ 模型 ( INT4 ) 。

上一代的锐炫 A 系列依然宝刀不老,搭配至强处理器可以组成四卡、八卡一体机,最高可以支持 70B 模型 ( FP8/INT4 ) ,这也是个非常流行的方案。

不过注意,系统内存容量也是个关键因素,建议不少于 64GB。

这是使用基于酷睿 Ultra 200V 系列处理器、32GB 内存的轻薄本,本地部署 DeepSeek 14B 模型基础版,可以流畅执行知识问答、代码编写等任务,输出速度能达到每秒 10 tokens 左右。

这里展示了两个俄罗斯方块游戏的生成,左侧是正常的基础版,右侧则是进阶版,每隔 20 秒左右就会出现两个新的随机方块,可能生成在任意落点,从而大大增加了游戏难度。

挑战本地部署 DeepSeek R1 32B 模型,内存也增加到 64GB,可以分配大约 36GB 作为核显的显存,生成速度可以达到每秒 14 Tokens。

用它开发小游戏,比如打砖块、五子棋这种级别的,虽然速度说不上飞快,但依然完全在可接受程度内,生成的小游戏也都能正常运行。

【深度优化:Intel 的大模型框架方案】

除了 AI 大模型,大家应该还能经常听到框架一词。

所谓框架,就是一种用于开发、训练、部署 AI 模型的软件平台,它提供了一系列的工具、库和接口,帮助开发者更高效地构建和实验各种 AI 模型,可进行数据处理、模型构建、模型训练、模型评估、模型部署等全流程工作。

AI 框架非常多,仅仅是开源的就有 100 个左右,目前常见常用的有:Google TensorFlow、PyTorch、Ollama、Keras、MXNet、Caffe、Haystack,等等。

Ollama 就是一个轻量级的、可扩展的框架,可在本地创建和运行大模型,优点是开源、兼容社区工具链,适合在端侧运行量化模型,缺点是原生支持的硬件有限,网络下载模型也可能不是很顺畅。

如今,Intel AI PC 就已经可以很好地支持 Ollama,后续我们也会通过专题的方式为大家介绍如何在 Intel 平台上部署 Ollama。

值得一提的是,Intel 已将 IPEX 也就是 Intel PyTorch 框架扩展库与 Ollama 进行了整合,体积大约 200MB,在魔搭社区上提供,可以高速直接下载模型。

Intel IPEX 可以更好地提升 PyTorch 在 Intel 平台上的训练和性能。

在这方面,神州数码就与 Intel 展开了深度合作,推出了大模型本地部署产品 " 爱问学 "。

爱问学主要面向 AI PC 应用开发者,可以轻松地一键部署本地大模型,让开发者不再需要关心底层硬件迭代

它通过模型蒸馏与优化技术,将大模型压缩成轻量化版本,用户只需一键操作,5 分钟内就能在 PC 上完成本地化模型安装,无需配置复杂环境或理解专业参数,零技术背景也能轻松上手。

它还能再多种本地模型之间自由切换,均可离线运行,此外支持个人私密 AI 知识库,并提供开箱即用的工具集。

爱问学的模型仓库涵盖 Ollama、HuggingFace、ModelScope ( 魔搭 ) ,方便开发者随时获取最新版本。

【五大场景:Intel 的 AI PC 应用生态】

AI PC 的应用已经逐渐丰富起来,遍布各个领域和场景。

按照 Intel 的划分方式,大致可以分为知识助手、办公助手、娱乐助手、创作助手、垂类助手五大类。

这里,我们就通过其中的五个典型应用,看一下如今的 AI PC 到底能干什么。

Intel 与字节跳动旗下扣子 AI 大模型开发平台合作,打造了一款 AI PC Agent 智能体,堪称工作中的私人助理,其中一个典型应用能力就是视频会议助手。

它可以自动记录会议语音内容,同步转换为文字,并在会后自动进行摘要总结,当然支持多种语言,可以自动翻译,期间用的是端云结合。

它还能截取指定的画面并入库,也就是存入数据库,还能向量化理解其中的内容,后续有需要可以直接搜索。

神州数码的爱问学,可以理解为你的百度百科,酷睿 Ultra 版本集成了多达 31 个大模型,包括 DeepSeek、Qwen 家族,参数量从 0.5B 到 14B 都有,还有三个模型可用于 RAG。

它能根据硬件配置情况,直接下载不同的大模型,部署于本地,加速对话、问答、总结,还能搜索、导入本地知识库。

它调用的主要是 GPU 算力。

面壁智能的迷你 CPMV2-6,一个 8B 的视觉大模型,可以对图像和视频做理解和分析,智能分析视频内容,进行提炼总结。

它也是在本地执行的,也是主要调用 GPU 算力。

爱奇艺智能助理,联合 Intel 开发。

它可以根据用户的偏好需要,自动搜索、播放符合的视频剧集,还可以分析视频内容,智能回答各种问题,甚至能作为情感伴侣,与你共情,一起分享观影感受。

亦心闪绘 AI PC 版,国内首批 AI 实时绘画软件之一。

它可以在手绘草图的同时,实时生成绘画成品,即便是毫无创作基础的小白,也可以轻松完成大作。

Intel 作为 AI PC 的发起者、倡导者,不仅提供了全栈硬件产品、开发工具链,更始终积极与全行业一起,在开放、创新、共赢的原则下,加速 AI 应用的开发与落地。

短短一年多时间,AI PC 的生态就已经初具规模,应用逐渐丰富起来,开始遍布各个场景,服务于我们的工作、生活、学习。

数据显示,Intel 在全球已经有 200 多家 ISV 独立软件开发商合作伙伴,中国本地就超过了 40 家,而支持的大模型已经超过 500 种,最近还发起了第二届 AI 创新应用大赛,进一步将 AI PC 落到实处。

当然,目前的 AI 应用更多地还是传统应用+AI 插件的方式,AI 更像是一种扩展能力。或许在未来,我们的应用都将是直接建立在 AI 的基础上,让 AI 融入每一行代码。

到那个时候,"AI PC" 就只是 PC 了!

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai intel 一体机 酷睿 医疗
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论