量子位 9小时前
最新研究揭示视觉模型与人脑的对齐机制
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

AI 看世界的方式,与人类大脑保持一致。

但究竟是什么因素驱动了这种脑 - 模型相似性,至今仍缺乏清晰认识。

为此,FAIR 与巴黎高等师范学院通过训练自监督视觉 Transformer 模型(DINOv3),并使用功能性磁共振成像(fMRI )和脑磁图(MEG)从不同指标评估脑 - 模型相似性。

结果发现,模型大小训练数据量图像类型都会影响模型与大脑的相似度,而且这些因素之间还有相互作用。

特别是,规模最大、训练量最多,并使用人类相关图像训练的 DINOv3 模型,在脑相似性评分最高。

研究还发现,类脑表征在 AI 模型中的出现遵循特定的时间顺序:模型先对齐人类早期感觉皮层表征,而要像大脑的高层区域(例如前额叶)一样处理信息,则需更多训练数据。

这一发展轨迹与人类大脑皮层的结构与功能特性高度一致。模型在训练后期学到的表征,恰好对应大脑中发育最晚、最厚、髓鞘最少、处理速度最慢的区域。

DINOv3 是一种自监督视觉 Transformer 模型,已在 17 亿张自然图像上进行训练。

为了进行全面评估,研究人员从零训练了 DINOv3 模型的 8 个变体,以覆盖不同的模型规模、训练数据量和数据类型。

为了对比不同类型图像对模型训练的效果,研究者重新训练了三种 DINOv3 模型,分别使用人类中心图像、细胞图像和卫星图像,且每类图像数量均为 1000 万张。

在评估 DINOv3 模型与人类大脑视觉表征的相似度时,研究从功能性磁共振成像(fMRI )和脑磁图(MEG)中筛选出 15 个具有代表性的感兴趣区域(ROIs) ,覆盖从低级视觉皮层到高级前额叶皮层的完整视觉加工层级。

结果显示,随着训练的进行,DINOv3 学到的表征会逐步与人脑的表征相一致。

其次,DINOv3 学会的这种表征层级,与大脑中的空间层级和时间层级相对应。

为了继续探究 DINOv3 中类脑表征的出现,研究人员在 DINOv3 每个选定训练步骤上评估编码评分、空间评分和时间评分,并用 " 半达时间 " 总结其发展速度,即达到最终评分一半所对应的训练步骤。

令人惊讶的是,这些编码、空间和时间相关的评分都会在训练过程中出现,但出现的速度各不相同。

低级视觉区表征通常在 DINOv3 训练的早期就获得,而要学到与前额叶皮层类似的表征,则需要更多的训练。

其次是模型大小,更大的模型在训练中更快表现出类脑特征,脑评分更高,尤其是在高级脑区表现明显。

最后是图像类型,即使只使用卫星图像或细胞图像训练的模型,也能显著捕捉到脑信号,但使用人类中心图像训练的模型在所有脑区的编码效果更高。

这一结果可能是因为人类中心图像更接近大脑日常接触的视觉输入,而卫星图像和细胞图像则是大脑未经过训练处理的图像类型。

为探讨类脑表征与皮层的关系 ,研究人员分析了编码半达时间与皮层四种特性的相关性。

1、皮层扩展:他们比较婴儿与成人皮层结构的图谱,发现半达时间与皮层扩展高度正相关。这表明发育增长较大的皮层区域,其在 AI 模型中对应的表征出现较晚。

2、皮层厚度:皮层较厚的区域半达时间更长。

3、皮层动力学:内在动力学最慢的区域也往往具有最长的半达时间,即 DINOv3 的深层表征通常对应大脑反应较慢的区域。

4、皮层髓鞘:髓鞘可加快神经信号传导,其浓度与半达时间呈显著负相关,说明髓鞘浓度越高,表征出现越早。

论文链接:https://arxiv.org/abs/2508.18226

参考链接:https://x.com/JeanRemiKing/status/1962453435199983982

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

—    —

专属 AI 产品从业者的实名社群,只聊 AI 产品最落地的真问题   扫码添加小助手,发送「姓名 + 公司 + 职位」申请入群~

进群后,你将直接获得:

  最新最专业的 AI 产品信息及分析  

   不定期发放的热门产品内测码

   内部专属内容与专业讨论

点亮星标

科技前沿进展每日见

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

磁共振 ai 效果 代表性 卫星
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论