快科技 10 月 13 日消息，近日，苹果公司推出了 300 亿参数的多模态 AI 大模型 MM1.5，该版本是在前代 MM1 的架构基础上发展而来的。

该模型继续遵循数据驱动的训练原则，着重探究在不同训练周期中混合各类数据对模型性能产生的影响，相关模型文档已在 Hugging Face 上发布。

MM1.5 提供了从 10 亿到 300 亿的多种参数规模，拥有图像识别和自然语言推理能力。

在新版本中，苹果公司的研发人员改进了数据混合策略，极大地增强了模型在多文本图像理解、视觉引用与定位以及多图像推理等方面的能力。

参考论文可知，团队在 MM1.5 的持续预训练阶段引入了高质量的 OCR 数据和合成图像描述，这显著提高了模型对包含大量文本的图像的理解水平。

此外，研究人员在监督式微调阶段深入分析了不同数据类型对模型表现的作用，优化了视觉指令微调数据的混合方式，使得即便是小规模的模型（如 10 亿、30 亿参数版本）也能有出色的发挥，实现了更高的效率。

值得一提的是，苹果公司这次还推出了专门用于视频理解的 MM1.5-Video 模型和专门处理移动设备用户界面（UI）理解的 MM1.5-UI 模型。

其中，MM1.5-UI 模型未来有望成为 iOS 背后的 " 苹果牌 "AI，能够处理各种视觉引用与定位任务，还能总结屏幕上的功能，或者通过与用户的对话进行交互。

尽管 MM1.5 模型在多项基准测试中表现优异，但苹果团队仍计划通过进一步融合文本、图像和用户交互数据，并设计更复杂的架构，来提升模型对移动设备 UI 的理解能力，从而让 " 苹果牌 "AI 更强大。