大模型不看图，竟也能正确回答视觉问题？！

中科大、香港中文大学、上海 AI Lab 的研究团队团队意外发现了这一离奇现象。

他们首先看到像 GPT-4V、GeminiPro、Qwen1.5-72B、Yi-VL-34B 以及 LLaVA-Next-34B 等大模型，不管是闭源还是开源，语言模型还是多模态，竟然只根据在多模态基准 MMMU 测试中的问题和选项文本，就能获得不错的成绩。

△蓝色表示能看到图的 LVLMs，橘色和绿色分别表示只接收问题和选项文本的 LLMs 和 LVLMs

（LLM：大语言模型；LVLMs：多模态大模型）

不知道的还以为是大模型的隐藏技能被发现了。

有网友发出灵魂拷问：我们评估多模态模型的方法正确吗？

这一结果也激起了研究者们的好奇，于是他们决定对此展开进一步探究。

大模型隐藏技能被发现？

针对现有的评估样本和评估过程，研究人员认为造成这种现象的两个主要问题。

第一，一些多模态评估样本缺少对视觉内容的依赖性。

这种问题反映了现有的 benchmark 中的不合理之处。这个问题包含了两种情况：

一种是有些评估样本的答案可以被蕴含在了题目和选项中从而免去了看图的必要。

比如会有这种问题，这个圆形土圈是什么形状？

另外一种则是有些评估样本可以直接被语言大模型利用嵌入的丰富世界知识进行解答而无需依赖图片。

比如下图中的问题：内布拉斯加州的首府是什么？

第二，现有评估过程未考虑语言和多模态大模型训练过程中的数据泄露问题。

LVLM 通常由一个 vision encoder，一个语言模型基座，以及一个视觉 - 语言连接件组成。而且现有的多模态 benchmark 中有大量的评估样本是从单模态的文本语料中转化过来的（比如从考试题目中转化而来）。

因此如果大语言模型的训练数据中无意间泄露了多模态 benchmark 中转化不充分的评估样本，就会影响 LVLMs 之间的公平比较。

为了定量观察大语言模型中广泛存在的泄露现象，研究者们采用了 22 个大语言模型在 6 个公开 benchmark 上进行评估。

这些大语言模型包含了 2 个闭源模型（GPT4-Turbo 以及 GeminiPro）和 20 个大小、架构各异的开源模型（比如 Qwen 系列，LLaMA2 系列，Baichuan 系列，Mixtral-8x7B 等），并且使用了 2-shot 推理策略来减少拒绝回答的情况以及对齐回答的格式。

结果看到，闭源模型 GeminiPro 和开源模型 Qwen1.5-72B 在极具挑战性的 MMMU 基准上可以分别取得 42.7 和 42.4 的惊人成绩，一度逼近 GeminiPro-Vision ( 44.4 ) ，LLaVA-Next-34B ( 47.0 ) 和 Yi-VL-34B ( 43.2 ) 等多模态模型在能看到图片情况下的表现。

进一步的，他们还定量观察多模态大模型在训练过程中的数据泄露情况：屏蔽了 LVLM 的图片输入从而只根据文本问题和选项来进行评估（标记为 LVLM-text）。

可以看到，像 Sphinx-X-MoE 和 Monkey-Chat 经过多模态训练后在不看图的情况下相比原始大模型在 MMMU 基准上可以分别提升惊人的 17.9 和 12.6，而它们即使进一步在看到图片的情况下也只能获得 1.2 和 4.7 的性能提升。

GPT-4 在新基准上没有及格

为了解决上述问题从而进行更公平和准确的评估，研究者们设计了一个多模态评估基准MMStar——

包含了 1,500 个具有视觉依赖性的高质量评估样本，涵盖了样本均衡的粗略感知、精细感知，实例推理、逻辑推理、科学技术、数学这六个核心能力以及 18 个详细的能力维度。

伴随着 MMStar benchmark，作者们还提出了 multi-modal gain ( MG ) 和 multi-modal leakage ( ML ) 两个评估指标来反映出 LVLMs 在多模训练过程中的真实性能增益和数据泄露程度。

随后，为了检验所提出的 MMStar 质量，他们进行了三项评估。

1）用 22 个大语言模型只根据 MMStar 中的问题和选型进行了评估，结果显示，他们的表现都接近于随机选择，这表明 MMStar 在现有大模型训练语料中有着很少的数据泄露。

2）评估 16 个多模态模型在 MMStar 上的性能。

高分辨率设置下的 GPT4V 取得了 57.1 的最高平均性能（但还是没有及格）。

开源模型中 InternLM-Xcomposer2 取得了平均性能为 55.4 的好成绩，LLaVA-Next 在数学维度上的表现要略优于 GPT4V 和 GeminiPro-Vision。

值得注意的是，没有多模态大模型能够在精细感知（FP），逻辑推理（LR），科学技术（ST）以及数学（MA）上及格。

3）用 16 个 LVLMs 在 6 个公开 benchmark 以及所提的 MMStar 上对 MG 和 ML 指标进行了广泛评估。

可以看到，而 MMStar 展示出了最少的平均数据泄漏程度。

研究团队相信，这种跨模型间的 ML 指标对社区之后检验新开发的多模态 benchmarks 也是有益的。

论文链接：

https://arxiv.org/pdf/2403.20330.pdf

项目链接：

https://mmstar-benchmark.github.io/

https://huggingface.co/datasets/Lin-Chen/MMStar

代码链接：

https://github.com/MMStar-Benchmark/MMStar

—  完  —

【 火热报名中】中国 AIGC 产业峰会

定档 4 月 17 日

峰会已经邀请到数位代表技术、产品、投资、用户等领域嘉宾，共论生成式 AI 产业最新变革趋势。

最新确认嘉宾包括：商汤科技杨帆、轻松集团高玉石、印象笔记唐毅、蚂蚁集团李建国等，。

峰会将全程线上下同步直播，欢迎预约直播 ⬇️

点这里关注我，记得标星噢

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~