骁龙峰会期间,高通技术公司宣布与腾讯混元合作,基于骁龙 8 至尊版移动平台,共同推动了腾讯混元大模型 7B 和 3B 版本的终端侧部署,展示了此合作实现出色的运行表现。这将有助于腾讯混元大模型为广泛的业务场景提供技术支持,通过利用终端侧 AI 加速产品创新,有效降低运营成本,并进一步扩展生成式 AI 在终端侧的应用和普及。
骁龙 8 至尊版移动平台搭载全新的第二代定制高通 Oryon CPU 和增强的高通 Hexagon NPU,充分利用高通 AI 引擎优势,能够带来更强大的终端侧生成式 AI 处理能力。骁龙 8 至尊版的 AI 算力,结合高通 AI 软件栈以及行业领先的工具套件,包括高通 AI 模型增效工具包(AIMET)等,为模型提供了全栈优化能力。通过使用基于硬件的 INT4 量化技术,可以大幅提升腾讯混元大模型在终端侧的运行效率,端侧推理实现首个 token 生成时延达到 150ms,解码速率达到超过 30 tokens/ 秒。
而腾讯混元大模型已为腾讯内部超过 700 个业务场景和 C 端应用提供底层技术支持,包括微信输入法、腾讯手机管家、QQ、腾讯视频、QQ 浏览器、企业微信、腾讯会议等,通过实现面向骁龙 8 至尊版的终端侧部署,能够利用终端侧生成式 AI 的丰富优势,更好地满足广泛的终端侧业务需求。例如,腾讯手机管家短信智能识别功能率先利用腾讯混元的终端侧模型能力,通过海量数据结合深度神经网络与预训练,让模型具备极强的语义理解能力,通过结合上下文语境信息更准确地理解短信意图,使短信召回率大幅提高将近 200%,识别准确率提升 20%。由于部分短信涉及用户个人敏感信息,端侧 AI 还可以在保证出色性能表现的同时,有效保护用户的个人信息隐私安全。
登录后才可以发布评论哦
打开小程序可以发布评论哦