智东西
作者 | 李水青
编辑 | 云鹏
智东西 8 月 15 日消息,今天,谷歌推出史上最小 Gemma 3 开源模型,一个拥有 2.7 亿个参数的轻量级模型,底层设计以特定任务微调为目标,具备强大的指令跟踪和文本能力。
在指令执行能力测试中,如 IFEval 基准测试所示,Gemma 3 270M 超越了尺寸更大的 Qwen2.5 0.5B Instruct,与 Llama 3.2 1B 能力比肩。
Gemma 3 270M 在一些特定任务上能达到甚至超越大模型的能力。该模型的尺寸和性能使其非常适合离线、基于网页的创意任务。比如谷歌公布了一个案例,其用 Gemma 3 270M 驱动一款使用 Transformers.js 的睡前故事生成器网页应用,通过简单的勾选就可以生成精彩的睡前故事。
Gemma 3 270M 的核心能力如下:
1、轻量而强大的架构。该模型共有 2.7 亿个参数,由于词汇量庞大,嵌入参数有 1.7 亿个,Transformer 模块参数有 1 亿个。得益于 256k 个 token 的庞大词汇量,该模型能够处理特定和稀有的 token,使其成为可在特定领域和语言中进一步微调的优质基础模型。
2、极致能效。该模型的一大优势在于低功耗,其在 Pixel 9 Pro SoC 上进行的内部测试表明,INT4 量化模型在 25 次对话中仅消耗 0.75% 的电量,使其成为谷歌最节能的 Gemma 模型。
3、指令遵循。该模型同步发布了指令微调版本与预训练检查点(checkpoint)。虽然该模型并非为复杂的对话用例而设计,但其基础指令遵循能力出色,可 " 开箱即用 " 地响应通用指令。
4、可用于生产的量化。模型提供量化感知训练(Quantization-Aware Trained, QAT)检查点,支持以 INT4 精度运行,且性能损失极小,这对于在资源受限设备(如手机、边缘设备)上部署至关重要。
换句话说,如果用户有一个高容量、定义明确的任务,在成本上需要精打细算,又需要快速迭代和部署,或是有保护隐私的需求,他都适合选择 Gemma 3 270M。
Hugging Face 地址:
https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d
结语:轻量化模型释放端侧智能
此前,谷歌 Gemma 开源模型加速迭代:先是适用于单云和桌面加速器的 Gemma 3 和 Gemma 3 QAT 发布,随后是将强大实时多模态 AI 直接引入边缘设备的 Gemma 3n 推出,本次 Gemma 3 270M 的推出填补了轻量模型版块。
轻量化模型正在打破参数迷信。大模型领域长期存在 " 参数规模决定性能 " 的固有认知,Gemma 3 270M 展现出小模型遵循指令的能力以及微调后的威力。从轻量而强大的模型入手,用户可以构建精简、快速且运行成本显著降低的生产系统。
智东西
作者 | 李水青
编辑 | 云鹏
智东西 8 月 15 日消息,今天,谷歌推出史上最小 Gemma 3 开源模型,一个拥有 2.7 亿个参数的轻量级模型,底层设计以特定任务微调为目标,具备强大的指令跟踪和文本能力。
在指令执行能力测试中,如 IFEval 基准测试所示,Gemma 3 270M 超越了尺寸更大的 Qwen2.5 0.5B Instruct,与 Llama 3.2 1B 能力比肩。
Gemma 3 270M 在一些特定任务上能达到甚至超越大模型的能力。该模型的尺寸和性能使其非常适合离线、基于网页的创意任务。比如谷歌公布了一个案例,其用 Gemma 3 270M 驱动一款使用 Transformers.js 的睡前故事生成器网页应用,通过简单的勾选就可以生成精彩的睡前故事。
Gemma 3 270M 的核心能力如下:
1、轻量而强大的架构。该模型共有 2.7 亿个参数,由于词汇量庞大,嵌入参数有 1.7 亿个,Transformer 模块参数有 1 亿个。得益于 256k 个 token 的庞大词汇量,该模型能够处理特定和稀有的 token,使其成为可在特定领域和语言中进一步微调的优质基础模型。
2、极致能效。该模型的一大优势在于低功耗,其在 Pixel 9 Pro SoC 上进行的内部测试表明,INT4 量化模型在 25 次对话中仅消耗 0.75% 的电量,使其成为谷歌最节能的 Gemma 模型。
3、指令遵循。该模型同步发布了指令微调版本与预训练检查点(checkpoint)。虽然该模型并非为复杂的对话用例而设计,但其基础指令遵循能力出色,可 " 开箱即用 " 地响应通用指令。
4、可用于生产的量化。模型提供量化感知训练(Quantization-Aware Trained, QAT)检查点,支持以 INT4 精度运行,且性能损失极小,这对于在资源受限设备(如手机、边缘设备)上部署至关重要。
换句话说,如果用户有一个高容量、定义明确的任务,在成本上需要精打细算,又需要快速迭代和部署,或是有保护隐私的需求,他都适合选择 Gemma 3 270M。
Hugging Face 地址:
https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d
结语:轻量化模型释放端侧智能
此前,谷歌 Gemma 开源模型加速迭代:先是适用于单云和桌面加速器的 Gemma 3 和 Gemma 3 QAT 发布,随后是将强大实时多模态 AI 直接引入边缘设备的 Gemma 3n 推出,本次 Gemma 3 270M 的推出填补了轻量模型版块。
轻量化模型正在打破参数迷信。大模型领域长期存在 " 参数规模决定性能 " 的固有认知,Gemma 3 270M 展现出小模型遵循指令的能力以及微调后的威力。从轻量而强大的模型入手,用户可以构建精简、快速且运行成本显著降低的生产系统。
登录后才可以发布评论哦
打开小程序可以发布评论哦