IT之家 5小时前
智谱联合华为开源首个国产芯片训练的多模态SOTA模型GLM-Image
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 1 月 14 日消息,智谱今日宣布联合华为开源新一代图像生成模型 GLM-Image,模型基于昇腾 Atlas 800T A2 设备和昇思 MindSpore AI 框架完成从数据到训练的全流程,是首个在国产芯片上完成全程训练的 SOTA 多模态模型

GLM-Image 采用自主创新的 " 自回归 + 扩散解码器 " 混合架构,实现了图像生成与语言模型的联合

IT 之家附 GLM-Image 核心亮点如下:

架构革新,面向 " 认知型生成 " 的技术探索:采用 " 自回归 + 扩散编码器 " 混合架构,兼顾全局指令理解与局部细节刻画,克服了海报、PPT、科普图等知识密集型场景生成难题,向探索以 Nano Banana Pro 为代表的新一代 " 知识 + 推理 " 的认知型生成模型迈出一步。

首个在国产芯片完成全程训练的 SOTA 模型:模型自回归结构基座基于昇腾 Atlas 800T A2 设备与昇思 MindSpore AI 框架,完成了从数据预处理到大规模训练的全流程构建,验证了在国产全栈算力底座上训练前沿模型的可行性。

文字渲染开源 SOTA:在 CVTG-2K(复杂视觉文本生成)和 LongText-Bench(长文本渲染)榜单获得开源第一,尤其擅长汉字生成任务

性价比与速度优化:API 调用模式下,生成一张图片花费 0.1 元,速度优化版本即将更新。

据智谱官方介绍,通过改进 Tokenizer 策略,GLM-Image 能够自适应处理多种分辨率,原生支持从 1024x1024 到 2048 × 2048 尺寸的任意比例图像的生成任务,无需重新训练。

GLM-Image 在文字渲染的权威榜单中达到开源 SOTA 水平

GLM-Image 在实际的复杂图文任务中测试表现如下:

场景一:科普插画

GLM-Image 更擅长绘制包含复杂逻辑流程与文字说明的科普插画及原理示意图。

场景二:多格图画

在生成电商图、漫画等多格图画时,GLM-Image 能够保持风格和主体的一致性,并保障多处文字生成的准确率。

场景三:社交媒体图文封面

GLM-Image 适用于制作社交媒体封面及内容等排版复杂的图片,让您的创作更自由丰富。

场景四:商业海报

GLM-Image 能够生成构图富有设计感、文字嵌入准确的节日海报与商业宣传图。

场景五:写实摄影

在文字渲染以外,GLM-Image 也同样擅长生成各种景别和尺寸的人像、宠物、风景、静物。

IT 之家附 GLM-Image 体验和开源地址如下:

在线体验:https://bigmodel.cn/trialcenter/modeltrial/image

API 接入:https://docs.bigmodel.cn/cn/guide/models/image-generation/glm-image

GitHub:https://github.com/zai-org/GLM-Image

Hugging Face:https://huggingface.co/zai-org/GLM-Image

魔搭社区:https://modelscope.cn/models/ZhipuAI/GLM-Image

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

华为 ai it之家 开源 芯片
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论