科创板日报 前天
持续拥抱开源 腾讯混元一口气开源四款小尺寸模型 最小仅0.5B
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

《科创板日报》8 月 4 日讯(记者 张洋洋)今日,腾讯混元宣布开源四款小尺寸模型,参数分别为 0.5B、1.8B、4B、7B,消费级显卡即可运行,适用于笔记本电脑、手机、智能座舱、智能家居等低功耗场景,且支持垂直领域低成本微调。

目前,四个模型均在 Github 和 HuggingFace 等开源社区上线,Arm、高通、Intel、联发科技等多个消费级终端芯片平台也都宣布支持部署。

新开源的 4 个模型属于融合推理模型,具备推理速度快、性价比高的特点,用户可根据使用场景灵活选择模型思考模式——快思考模式提供简洁、高效的输出;而慢思考涉及解决复杂问题,具备更全面的推理步骤。

据了解,这四个模型的亮点在于 agent 和长文能力,跟此前开源的 Hunyuan-A13B 模型一样,技术上通过精心的数据构建和强化学习奖励信号设计,提升了模型在任务规划、工具调用和复杂决策以及反思等 agent 能力上的表现,让模型实际应用中可以轻松胜任深度搜索、excel 操作、旅行攻略规划等任务。

此外,模型原生长上下文窗口达到了 256k,意味着模型可以一次性记住并处理相当于 40 万中文汉字或 50 万英文单词的超长内容,相当于一口气读完 3 本《哈利波特》小说,并且能记住所有人物关系、剧情细节,还能根据这些内容讨论后续故事发展。

部署上,四个模型均只需单卡即可部署,部分 PC、手机、平板等设备可直接接入。并且,模型具有较强的开放性,主流推理框架(例如,SGLang,vLLM and TensorRT-LLM)和多种量化格式均能够支持。

应用层面,四款小尺寸模型都能够满足从端侧到云端、从通用到专业的多样化需求,并且已经在腾讯多个业务中应用,可用性和实用性经过了实践的检验,是真正实用的模型。

例如,依托模型原生的超长上下文能力,腾讯会议 AI 小助手、微信读书 AI 问书 AI 助手均实现对完整会议内容、整本书籍的一次性理解和处理。

在端侧应用上,腾讯手机管家利用小尺寸模型提升垃圾短信识别准确率,实现毫秒级拦截,隐私零上传;腾讯智能座舱助手通过双模型协作架构解决车载环境痛点,充分发挥模型低功耗、高效推理的特性。

在高并发场景中,搜狗输入法基于模型的多模态联合训练机制使嘈杂环境下提升识别准确率;腾讯地图采用多模型架构,利用意图分类和推理能力提升了用户交互体验;微信输入法「问 AI」基于模型实现输入框与 AI 即问即答的无缝衔接。

在需求各异、约束严苛的垂直行业应用中,金融 AI 助手通过 Prompt 优化和少量数据微调实现 95%+ 意图识别准确率,展现出金融级的高可靠性;游戏翻译和 QQ 飞车手游 NPC 充分利用模型的理解能力在多语言理解能力、方言翻译和智能对话方面有突出表现,这些能力在专业客服、内容出海甚至电商直播等场景有巨大应用潜力。

最近,全球开源领域异常热闹,中国大模型表现抢眼。腾讯混元大语言模型也在持续推进开源,其开源模型已覆盖文本、图像、视频和 3D 生成等多个模态。

在大语言模型领域,腾讯混元此前陆续开源了激活参数量达 52B 的 Hunyuan large 和首个混合推理 MoE 模型 Hunyuan-A13B。

多模态方面,混元还开放了完整多模态生成能力及工具集插件,陆续开源了业界领先的文生图、视频生成和 3D 生成能力,提供接近商业模型性能的开源基座,方便社区基于业务和使用场景定制,图像、视频衍生模型数量达到 3000 个。

上周,腾讯发布并开源混元 3D 世界模型 1.0,这一模型一经发布即迅速登上 Hugging Face 趋势榜第二,下载量飙到近 9k,混元 3D 世界模型技术报告还拿下了 Hugging Face 论文热榜第一。

腾讯混元方面称,开源是腾讯混元大模型长期坚持的方向,未来也将不断提升模型能力,继续积极拥抱开源,推出更多尺寸、更多模态的模型。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

腾讯 开源 ai 智能座舱
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论