IT之家 7小时前
欧洲云服务企业OVH涉足AI模型,开源发布Olala mini 7A1B
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 11 月 17 日消息,欧洲云服务企业 OVHcloud 当地时间今日宣布推出其首个 AI 模型家族 Olala,同时公布了该系列的首个成员 Olala mini 7A1B。

Olala mini 7A1B 采用结合了 Differential-TPA 和 Mamba-3 的混合注意力机制,总参数 70 亿、激活参数 10 亿,使用 BF16 数据格式。该模型将以 Apache 2.0 许可开源发布在 Hugging Face 上。

其可在 8GB 显存的 GPU 上运行,在 RTX A4500 上可实现 160 TPS 的词元吞吐量,仅 CPU 平台也能实现 50 TPS。

OVH 表示,Olala mini 7A1B 在三台欧洲公共超级计算机上利用 NVIDIA 的 GH200、A100、H100 训练而成,总开销达到 700 万欧元(IT 之家注:现汇率约合 5,142.8 万元人民币)。

Olala mini 7A1B 模型初始版本上下文长度为 32K,预计今年底推出的 1.1 版本将扩展至 128K 上下文并具备更好的数学能力。OVH 后续将持续开发 AI 模型,Olala 2.0 的参数规模将>100B。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 云服务 开源 it之家 超级计算机
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…