现在 AI 都懂文物懂历史了。

一项来自北京大学的最新研究引发关注：他们推出了全球首个面向古希腊陶罐的 3D 视觉问答数据集——VaseVQA-3D，并配套推出了专用视觉语言模型VaseVLM。

这意味着，AI 正在从 " 识图机器 " 迈向 " 文化考古 Agent"。

传统视觉语言模型（VLM）如 GPT-4V、Gemini 等，擅长描述日常图像，在开放域视觉理解方面效果显著，但在面对文化遗产类复杂对象时——它们几乎 " 一脸茫然 "。受限于训练数据的领域覆盖和语义建模能力，其对复杂纹饰、器形及文化背景的理解仍存在明显不足。

为什么？因为缺乏高质量、结构化的专业数据。

此次，北大牵头团队带来了突破性解决方案。

AI 首次 " 看懂 " 古希腊陶罐

以往的视觉语言模型（VLM）如 CLIP、LLaVA、GPT-4V 等，虽然能识别日常图片，却在文化遗产这类专业领域失灵。

北大团队指出："AI 能认猫狗，却认不出陶罐的时代、风格与技法。"

于是他们构建了一个庞大的新基座 VaseVQA-3D。

△VaseVQA-3D 中的陶罐 3D 模型与问答示例：每个模型都能被 AI" 旋转、观察、回答 "

从现有资源里找了 3 万多张古希腊陶器的 2D 照片，先通过：

ResNet-50 质检：去掉模糊与残缺图像；

CLIP 语义过滤：识别 " 碎片 " 与 " 完整器物 "；

多视角选优：自动挑选最佳视角图像。三道筛选，留下 3880 张高质量的；

再用 TripoSG 技术把这些 2D 图转成 664 个高保真的 GLB 模型（像真的陶器一样能看前后上下）；

最后还通过 GPT-4o 生成问答与增强描述，配了 4460 组「问题 - 答案」（比如 " 这个陶器的制作工艺是什么？"" 是黑绘工艺 "），甚至给每个 3D 模型写了详细说明。

为了保证 3D 模型质量，专门挑了 24 个高质量 3D 陶器当标准样板，用来检验生成的 3D 模型好不好。

总结下来就是：

664 个高保真 3D 古希腊陶罐模型（GLB 格式）

4460 条考古问答数据

完整的 2D → 3D 生成与质检流程

涵盖陶罐六大核心属性：材质、工艺、形制、年代、装饰、归属

VaseVLM：懂考古的视觉语言大模型

有了数据，团队进一步训练了专用模型 VaseVLM。

以 Qwen2.5-VL 为基底，通过两阶段强化：

阶段一：SFT 监督微调 —— 用 360 ° 旋转视频 + 考古描述训练基础识别能力

阶段二：RLVR 强化学习 —— 将考古知识拆分为六个语义维度（Fabric、Technique、Shape、Dating、Decoration、Attribution），AI 会每个维度根据回答得到奖励。

这种 " 可验证奖励机制 " 让模型的回答更专业、更贴近学术标准。

△RLVR 奖励机制：AI 像考古学家一样分维度分析陶罐特征

在多项 Vase-3D 视觉问答任务上，VaseVLM 的表现大幅超越现有模型。

相比最强基线模型，VaseVLM 在 R@1 准确率提升 12.8%；词汇相似度提升 6.6%；专家人工评分平均达 4.57/5（10 位考古专家评分）。

VaseVLM 生成的描述更自然、学术准确，显著优于通用大模型。

未来，该项目计划拓展到更多文化遗产领域，并建立更完善的数字遗产展示形式，为数字考古提供全新技术路径。

论文原文：https://arxiv.org/abs/2510.04479

官方网站： https://aigeeksgroup.github.io/VaseVQA-3D

代码开源： https://github.com/AIGeeksGroup/VaseVQA-3D

数据集：https://huggingface.co/datasets/AIGeeksGroup/VaseVQA-3D

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

我们正在招聘一名眼疾手快、关注 AI 的学术编辑实习生 

感兴趣的小伙伴欢迎关注  了解详情

点亮星标

科技前沿进展每日见