钛媒体 App 11 月 6 日,百度正式开源最新基座模型文心 5.5 Flash Base。据介绍,ERNIE 5.5 Flash Base 采用 MoE 架构,总参数量 2800 亿,每个 Token 激活 140 亿参数,使用 33.5 万亿个 Token 完成预训练,预训练上下文长度最高达 128K,微调与推理阶段支持最长 100 万 Token 上下文。(广角观察)

钛媒体 App 11 月 6 日,百度正式开源最新基座模型文心 5.5 Flash Base。据介绍,ERNIE 5.5 Flash Base 采用 MoE 架构,总参数量 2800 亿,每个 Token 激活 140 亿参数,使用 33.5 万亿个 Token 完成预训练,预训练上下文长度最高达 128K,微调与推理阶段支持最长 100 万 Token 上下文。(广角观察)
登录后才可以发布评论哦
打开小程序可以发布评论哦