财经涂鸦 09-15
数据处理涌现新范式:AI与数据将向双引擎融合驱动演进
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

" 数据处理技术无论主动还是被动,都需要重构与再定义。"

作者:苏打

编辑:tuya

出品:财经涂鸦(ID:caijingtuya)

可供大模型训练的人类数据越来越少,Scaling Law 正在缓慢失效,如何再次突破智能的上限?

公司情报专家《财经涂鸦》获悉,9 月 12 日,多位专家在 2025 Inclusion · 外滩大会 "Data meets AI:智能时代的双引擎 " 见解论坛中,对这一问题进行了充分讨论,并给出了新解法。

其中一个共识是,数据驱动了 AI 发展,AI 也让数据迎来了新一轮的进化,双引擎融合驱动才是演进方向。

论坛由中国人工智能学会、上海交通大学与蚂蚁集团联合主办,并同步展示了数据与 AI 双引擎协同发展的最新成果,为智能时代数据基础设施建设提供了参考和实践路径。

 

「大模型数据实践需要屠呦呦式的研究」

数据作为智能时代的第一引擎,正从辅助角色转变为核心驱动力。

" 当前,大模型发展正面临严峻的‘数据墙’困境,无标签语料对模型性能提升的贡献日益减弱,更大规模数据带来的性能提升与所需的训练开销相比性价比显著降低。" 复旦大学教授肖仰华指出,大模型数据科学需要从专家经验阶段发展到量化科学、直至自进化阶段。" 大模型的数据实践需要屠呦呦式的研究,从海量杂乱的数据中提取出决定模型能力的关键成分 "。

现场,他同步分享了通过语法复杂度指标和累积分布采样方法筛选高质量语料的实践,实验表明,从 100 亿个 token 的财经语料中仅筛选 20% 的高质量数据进行训练,对模型进行持续预训练,相比于全量数据持续预训练,在领域问答任务上的准确率提升 1.7%。

上海交通大学特聘教授翟广涛强调,无论是精炼数据还是合成数据,都需要质量优先,而数据质量分析要从 " 体验质量 " 入手,考虑人的体验,也考虑机器的体验,进而在数据为中心的范式下进一步提升大模型性能。

海天瑞声 CEO 李科从产业实践角度分享了全球 AI 数据行业的发展趋势。他认为,数据产业正在经历从劳动密集型向技术密集型和知识密集型的重大转型。通过动捕数据、自动驾驶标注、思维链数据集等多个实际案例,李科展示了高质量数据如何服务千行百业。

上海库帕思科技有限公司董事长山栋明说,模型之变引领 " 数据质变 ",他表示高质量数据集应满足 VALID ²(鲜活度、真实性、大样本、完整性、多样性、高知识密度)要求,并详细介绍了语料数据在方法论、基础设施和行业生态三个方面的体系化重构探索。

数据处理技术需要重构与再定义

作为第二引擎,AI 技术正在深刻改变数据处理和利用的方式。

光轮智能总裁杨海波表示,具身智能对数据的需求量是大语言模型和自动驾驶的上千倍。合成数据是实现具身智能 Scaling Law 的重要基础,他强调,合成数据必须满足四个必备条件:真实的物理交互、人在环的示范、场景足够丰富和数据闭环验证。

" 站在岸上学不会游泳,机器人需要进入物理可交互的环境去获取物理世界反馈来优化模型。" 杨海波认为。

蚂蚁技术研究院数据智能实验室负责人赵俊博认为,下一代 RL 训练法则应该从 " 对与错 " 转向 " 好与更好 "。

他探索的 "Rubric 即 Reward" 新机制,只需使用 5k 数据和 1 万条评分标准构建高效 RL 回路,就能摆脱对海量 SFT 数据的依赖,实现 " 品味对齐 "。这种方法可以在人文、创意、情感等领域实现风格化生成,去除 " 机器味道 "。

LanceDB CTO 徐磊分享了开源多模态数据湖的创新实践。他介绍,与传统的 Parquet、ORC 等格式不同,新设计的 Lance 格式既是文件格式又是表格式,具备零拷贝数据演化和高效点查两大核心特性。

以 Runway ML 为例,该公司将 PB 级视频数据导入 Lance 后,能够像使用 SQL 一样简单管理,实现 30 多位 AI 工程师在同一个主表上并行进行特征工程迭代。

" 随着计算范式的变化,数据处理技术无论主动还是被动,都需要重构与再定义。重构是为了解决已经面临的问题,再定义则是着眼于未来,解决可能面临的问题 "。专家们在圆桌讨论一致认为。

本文由公众号财经涂鸦(ID:caijingtuya)原创撰写,如需转载请联系涂鸦君。

添加涂鸦君个人微信(ID:tuyaclub)

加入【公司情报社群】

参与资本市场讨论

获取一手情报

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 上海交通大学 自动驾驶 基础设施
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论