钛媒体快报 昨天
英伟达发布1200亿参数开放智能体模型Nemotron,单卡吞吐量最高提升5倍
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

钛媒体 App 10 月 16 日,日前宣布推出开放多模态模型 Nemotron 3.5 Super VL,面向需要持续运行、执行多步骤任务的 AI 智能体。该模型采用混合专家(MoE)架构,总参数量为 1200 亿,激活参数 120 亿。称,在单张 GPU 上执行智能体任务时,该模型的吞吐量最高可达到同规模其他开放模型的 5 倍。据介绍,Nemotron 3.5 Super VL 将推理、指令遵循和工具调用能力,与文本、图像、文档及视频理解能力整合到同一个模型中,可用于代码测试与调试、跨网站信息检索、文档分析、网络安全威胁识别以及视频内容检索等场景。开发者可以利用 NeMo 工具链,结合自有数据、工具、政策和工作流程进行后训练,并根据业务需求调整模型行为。此外,还推出了两款 Nemotron 3.5 Bolt 边缘模型。Nemotron 3.5 Bolt 74B-A9B 24GB 采用 740 亿总参数、90 亿激活参数的 MoE 架构,通过原生 2 位量化将模型压缩至 24GB,面向本地智能体任务,支持 llama.cpp、vLLM、Ollama、Unsloth 和 LM Studio。Nemotron 3.5 Bolt E4B 4GB 则面向本地语音助手、交互角色和嵌入式界面等场景,计划于 10 月 23 日推出。(广角观察)

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

英伟达 吞吐量 钛媒体 ai 语音助手
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论