每日经济新闻 04-24
商汤科技董事长徐立:端侧应用是大模型“铺开”最核心的关键
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

4 月 24 日上午,商汤 -W(HK00020,股价 0.8 港元,市值 268 亿港元)港股开盘大涨。随后,商汤公告称,于 11 点 15 分起短暂停止买卖。暂停交易前,商汤股价上涨 31.15%,报 0.80 港元 / 股。

4 月 23 日,商汤科技在上海临港 AIDC(人工智能计算中心)举办技术交流日活动。在技术交流日上,商汤发布日日新 5.0 大模型,全面对标 GPT-4 Turbo。据悉,该大模型超过 10TB tokens 训练、覆盖大量合成数据,全新的日日新 5.0 采用混合专家架构,推理时上下文窗口可以有效到 200K 左右。

此外,商汤也推出日日新 · 端侧大模型。商汤科技董事长兼 CEO 徐立表示:" 我们认为,今年是大模型在端侧应用的元年。试想,如果几十亿端侧的设备都在不停地调用大模型,没有任何一个服务器能够‘服务得起’。所以说,端侧应用,其实是大模型铺开最核心的关键。"

据了解,商汤日日新 · 端侧大语言模型的推理速度达到了业内最快,可在中端平台实现 18.3 字 /s 的平均生成速度,旗舰平台达到 78.3 字 /s。

图片来源:每日经济新闻 靳水平 摄

在现场,徐立展示了端侧 AI 智能体的应用。比如通过语音输入查邮件,且将刚查看的邮件移动到智能手机的文件夹,并发送一个群公告:下午 5 点开会。

徐立表示:" 端侧业务 SDK(软件开发工具包)正式发布,大家可以扫码来适配到不同端侧,目前支持高通 8 系列、7 系列芯片,还有匹配天玑的芯片。"

值得注意的是,此前的 AI PC 普遍对计算机性能要求较高。将大模型部署到 PC 端,它对算力、存储的要求都很高。如果现在部署到手机端,手机的算力、存储包括带宽是否会不足以支撑端侧小模型?

4 月 21 日,商汤科技首席科学家王晓刚在接受《每日经济新闻》记者采访时表示:" 大家要看不同的应用,对于模型的准确率或体验的要求是不一样的。比如大量聊天式的应用,对模型性能的要求也会低一些。如果通过模型作为智能体做各种操作,它对操作的准确性、时效性要求会更高。不同的应用方向、场景对模型的要求是不一样的,对于模型应用要求不是非常高的地方,是可以用端侧模型去做的。"

王晓刚补充表示:"(云端)大模型要求的是一个通用能力,能做很多事情,而手机上的端侧小模型要求是只需要在某些方面的能力做到足够好就可以了。最终,我们的模型不是一个模型,而可能是一组模型。比如在端侧,就用它作为 AI 智能体执行调用各种 APP,执行各种功能,这时候,可以把端上的小模型局限在特定的功能上,把它做到最好。"

除了针对特定的功能,端侧模型的性能也在不断提升,一是数据质量的提升,二是可以通过云端大模型生成数据。

王晓刚表示:" 随着整个数据清洗的质量越来越高,将来会有越来越高质量的数据训练端上的模型。另外,因为云端大模型的能力变得很强,它也能帮助我们生成某些方面高质量的数据。用这些数据可以更好地训练小模型,因此,端上小模型的性能也在快速地提升。各种因素综合到一起,还是能保证未来在端上的模型有一个好的应用,满足终端消费者的要求。"

每日经济新闻

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

智慧云

智慧云

ZAKER旗下新媒体协同创作平台

相关标签

商汤科技 徐立 王晓 商汤 芯片
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论