2023 年底,伴随着代号 Meteor Lake 的一代酷睿 Ultra 处理器的发布,Intel 正式提出了 AI PC 的新概念。
彼时,乃至之后很长一段时间内,很多人都存在相同的疑问:AI PC 和传统 PC 到底有何不同?它能替我的工作 / 生活 / 学习做什么?值得升级吗?
事实上,不仅仅是广大消费者,从业者在 AI PC 兴起之初也有类似的迷茫。
但是,困难的事总是要有人去做的,未知的路总是要有人去走的。
作为 AI PC 的发起者,Intel 凭借持续的路线图、扎实的技术、广泛的影响力、强大的号召力,联合整个业界一起,不断从软硬件各个角度推进 AI PC,尤其是推动更多的应用开发、场景落地。
令人欣喜的是,AI PC 诞生还不到一年半,就已经取得了长足的进步:
随着 Intel 酷睿 Ultra 200 系列全线布局完毕、锐炫 B 系列显卡崭露头角、至强 6 家族各系列陆续登场,AI PC 无论硬件产品还是应用场景,都越来越丰富、越来越深入。虽然距离完全成熟为时尚早,但确确实实已经迈入了全新的、实用的阶段。
尤其是这个新年,我们不止有 "DeepFeed"、"DeepSleep" 这些传统的吃吃喝喝、休闲放松,更有 DeepSeek。
DeepSeek 的重大意义,一方面是中国 AI 一次革命性的突破,另一方面是通过开源、免费,加速了 AI 普惠,无论是政企学科等各种单位机构,还是个人,都可以灵活地部署自己的大模型,无论是满血版、蒸馏版,还是微调、再训练。
DeepSeek 的炸裂表现,无疑是 AI 历史上里程碑的一幕,掀起了一股新的浪潮,带来了更多的思考,也带来了更多的机遇。
【软硬全栈:Intel 的大模型一体机部署方案】
随着 AI 大模型部署需求的高涨,尤其是 DeepSeek 的火爆,AI 通用一体机逐渐为更多人所熟知,市场上也迅速出现了大量产品,不少都直接打出了 "DeepSeek 一体机 " 的标签。
Intel 自然没有错过这一波机遇,充分发挥了自己独特的软硬件 " 全家桶 " 优势。
AI 一体机包括训推一体、模型推理、模型应用等不同类型,主要面向政务、金融、医疗、教育、制造等垂直行业领域。
它的优点有三:
一是开箱即用:硬件、模型、算法、软件等全部集成,无需再单独采购、配置、安装、调优,买回来就能用,大大降低使用门槛,而且因为是本地化部署,延迟更低,响应更快,体验更流畅。
二是隐私安全:很多企业机构的数据是不能对外的,本地化部署一体机后,可以集成本地知识库、高效智能体,一切处理都可以在本地进行,不会外传。
三是高效优化:软硬件适配优化更深入,可大大提高 AI 模型的运行效率,从而提升工作效率。
不过,DeepSeek 等大模型的本地部署,也不是完全那么简单,要重点考虑多个因素,才能达成效率和经济的最优化。
比如模型大小,是满血?还是蒸馏?
比如数据精度,是更精确但更好资源的 FP16/BF16?还是比较均衡的 FP8?抑或速度更快的 INT4/FP4?甚至更低比特?
比如上下文长度,16K-128K 如何选择?
比如吞吐能力,能否满足时延要求?
比如响应能力,TTFT ( 首个 token ) 生成时间有没有超过 5 秒?TPOT ( token 生成时间间隔 ) 是否控制在 100 毫秒之内?
Intel AI 全家桶的优势恰恰就在于,无论你想部署什么样的模型,获得什么样的输出效果,无论是在边缘侧还是在端侧 ( 当然也有云侧 ) ,都可以找到最适合自己的产品组合。
其中,至强一体机适合满血大模型,锐炫 GPU 显卡适合蒸馏模型,酷睿 Ultra 200 系列则适合蒸馏量化模型。
酷睿 Ultra 系列的全新命名,当然不完全是改个名字那么简单,更是标志着开始真正进入 AI 的新时代。
第一代酷睿 Ultra 100H 系列 ( 代号 Meteor Lake ) ,最高可提供 36 TOPS 算力,算是开始入门。
第二代酷睿 Ultra 200 系列直接提升了一个档次,200V 系列 ( 代号 Lunar Lake ) 、200H 系列 ( 代号 Arrow Lake-H ) 分别可提供最高 120 TOPS、99 TOPS 的算力,不但可以完全满足 Windows 11 AI+ PC 的需求,还为部署更大规模模型提供了支撑,14B 蒸馏模型都可以直接搞定,保证流畅体验。
除了基础的硬件算力,Intel 还有着成熟的 AI 工具链和生态支持,总能得到最先支持与最好用优化,这是竞品无法比拟的。
迄今为止,仅仅是在国内,Intel AI PC 就已经得到了 40 多家 ISV 软件开发生的适配支持。
Intel 的锐炫 GPU 显卡虽然在游戏市场占比不高,但是凭借先进的架构、大容量的显存、完善的工具链支持,也悄然成为 AI 部署的上佳之选。
最新发布的锐炫 B 系列,搭配酷睿 Ultra 200 系列处理器,单用户单卡即可部署 14B 模型 ( FP8/INT4 ) ,双卡的话可以支持 32B+ 模型 ( INT4 ) 。
上一代的锐炫 A 系列依然宝刀不老,搭配至强处理器可以组成四卡、八卡一体机,最高可以支持 70B 模型 ( FP8/INT4 ) ,这也是个非常流行的方案。
不过注意,系统内存容量也是个关键因素,建议不少于 64GB。
这是使用基于酷睿 Ultra 200V 系列处理器、32GB 内存的轻薄本,本地部署 DeepSeek 14B 模型基础版,可以流畅执行知识问答、代码编写等任务,输出速度能达到每秒 10 tokens 左右。
这里展示了两个俄罗斯方块游戏的生成,左侧是正常的基础版,右侧则是进阶版,每隔 20 秒左右就会出现两个新的随机方块,可能生成在任意落点,从而大大增加了游戏难度。
挑战本地部署 DeepSeek R1 32B 模型,内存也增加到 64GB,可以分配大约 36GB 作为核显的显存,生成速度可以达到每秒 14 Tokens。
用它开发小游戏,比如打砖块、五子棋这种级别的,虽然速度说不上飞快,但依然完全在可接受程度内,生成的小游戏也都能正常运行。
【深度优化:Intel 的大模型框架方案】
除了 AI 大模型,大家应该还能经常听到框架一词。
所谓框架,就是一种用于开发、训练、部署 AI 模型的软件平台,它提供了一系列的工具、库和接口,帮助开发者更高效地构建和实验各种 AI 模型,可进行数据处理、模型构建、模型训练、模型评估、模型部署等全流程工作。
AI 框架非常多,仅仅是开源的就有 100 个左右,目前常见常用的有:Google TensorFlow、PyTorch、Ollama、Keras、MXNet、Caffe、Haystack,等等。
Ollama 就是一个轻量级的、可扩展的框架,可在本地创建和运行大模型,优点是开源、兼容社区工具链,适合在端侧运行量化模型,缺点是原生支持的硬件有限,网络下载模型也可能不是很顺畅。
如今,Intel AI PC 就已经可以很好地支持 Ollama,后续我们也会通过专题的方式为大家介绍如何在 Intel 平台上部署 Ollama。
值得一提的是,Intel 已将 IPEX 也就是 Intel PyTorch 框架扩展库与 Ollama 进行了整合,体积大约 200MB,在魔搭社区上提供,可以高速直接下载模型。
Intel IPEX 可以更好地提升 PyTorch 在 Intel 平台上的训练和性能。
在这方面,神州数码就与 Intel 展开了深度合作,推出了大模型本地部署产品 " 爱问学 "。
爱问学主要面向 AI PC 应用开发者,可以轻松地一键部署本地大模型,让开发者不再需要关心底层硬件迭代
它通过模型蒸馏与优化技术,将大模型压缩成轻量化版本,用户只需一键操作,5 分钟内就能在 PC 上完成本地化模型安装,无需配置复杂环境或理解专业参数,零技术背景也能轻松上手。
它还能再多种本地模型之间自由切换,均可离线运行,此外支持个人私密 AI 知识库,并提供开箱即用的工具集。
爱问学的模型仓库涵盖 Ollama、HuggingFace、ModelScope ( 魔搭 ) ,方便开发者随时获取最新版本。
【五大场景:Intel 的 AI PC 应用生态】
AI PC 的应用已经逐渐丰富起来,遍布各个领域和场景。
按照 Intel 的划分方式,大致可以分为知识助手、办公助手、娱乐助手、创作助手、垂类助手五大类。
这里,我们就通过其中的五个典型应用,看一下如今的 AI PC 到底能干什么。
Intel 与字节跳动旗下扣子 AI 大模型开发平台合作,打造了一款 AI PC Agent 智能体,堪称工作中的私人助理,其中一个典型应用能力就是视频会议助手。
它可以自动记录会议语音内容,同步转换为文字,并在会后自动进行摘要总结,当然支持多种语言,可以自动翻译,期间用的是端云结合。
它还能截取指定的画面并入库,也就是存入数据库,还能向量化理解其中的内容,后续有需要可以直接搜索。
神州数码的爱问学,可以理解为你的百度百科,酷睿 Ultra 版本集成了多达 31 个大模型,包括 DeepSeek、Qwen 家族,参数量从 0.5B 到 14B 都有,还有三个模型可用于 RAG。
它能根据硬件配置情况,直接下载不同的大模型,部署于本地,加速对话、问答、总结,还能搜索、导入本地知识库。
它调用的主要是 GPU 算力。
面壁智能的迷你 CPMV2-6,一个 8B 的视觉大模型,可以对图像和视频做理解和分析,智能分析视频内容,进行提炼总结。
它也是在本地执行的,也是主要调用 GPU 算力。
爱奇艺智能助理,联合 Intel 开发。
它可以根据用户的偏好需要,自动搜索、播放符合的视频剧集,还可以分析视频内容,智能回答各种问题,甚至能作为情感伴侣,与你共情,一起分享观影感受。
亦心闪绘 AI PC 版,国内首批 AI 实时绘画软件之一。
它可以在手绘草图的同时,实时生成绘画成品,即便是毫无创作基础的小白,也可以轻松完成大作。
Intel 作为 AI PC 的发起者、倡导者,不仅提供了全栈硬件产品、开发工具链,更始终积极与全行业一起,在开放、创新、共赢的原则下,加速 AI 应用的开发与落地。
短短一年多时间,AI PC 的生态就已经初具规模,应用逐渐丰富起来,开始遍布各个场景,服务于我们的工作、生活、学习。
数据显示,Intel 在全球已经有 200 多家 ISV 独立软件开发商合作伙伴,中国本地就超过了 40 家,而支持的大模型已经超过 500 种,最近还发起了第二届 AI 创新应用大赛,进一步将 AI PC 落到实处。
当然,目前的 AI 应用更多地还是传统应用+AI 插件的方式,AI 更像是一种扩展能力。或许在未来,我们的应用都将是直接建立在 AI 的基础上,让 AI 融入每一行代码。
到那个时候,"AI PC" 就只是 PC 了!
登录后才可以发布评论哦
打开小程序可以发布评论哦