全球TMT 03-11
IBM提供Mixtral-8x7B模型优化版,将延迟时间最多缩短75%
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

(全球 TMT2024 年 3 月 11 日讯)IBM 近日宣布,由 Mistral AI 公司开发的开源 Mixtral-8x7B 大型语言模型 ( LLM ) 已经可在其 watsonx 人工智能与数据平台上使用。IBM 提供了 Mixtral-8x7B 的优化版本,与常规模型相比,该版本能够将吞吐量提高 50%。这可能可以将时间延迟减少 35-75%,从而加快获得洞察的时间,具体取决于批处理量的大小。Mixtral-8x7B 的加入扩展了 IBM 的开放、多模型战略。

Mixtral-8x7B 结合了稀疏建模与专家混合技术来构建," 稀疏建模 " 是只查找和使用数据中最重要部分以创建更高效的模型的创新技术;而 " 专家混合技术 " 是把擅长并解决不同部分问题的不同模型结合在一起的技术。Mixtral-8x7B 模型因其能够快速处理和分析海量数据以提供与上下文相关的见解而广为人知。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

智慧云

智慧云

ZAKER旗下新媒体协同创作平台

相关标签

ibm ai 人工智能 开源 吞吐量
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论