生成式 AI 聊天机器人（如 ChatGPT、Claude 和 Gemini）依赖的大语言模型（LLMs）虽能生成极具人性化特征的文本和图像，却在处理结构化数据分析时面临巨大挑战。尽管 LLMs 能解决复杂数学问题、审阅法律文件或创作内容，但在面对稍大的电子表格时往往束手无策。

对于大多数组织而言，核心数据均存储于电子表格中，从银行交易记录到粒子加速器产生的海量碰撞信息，这种行列结构的数据主宰着商业世界，而 LLMs 却无法有效处理。

为何 LLMs 难以驾驭电子表格

阿姆斯特丹高级 AI 研究员 Boris van Breugel 指出，人类固有偏见导致结构化数据受关注较少，" 人们喜欢看图像、视频和 ChatGPT 回复，但看数字并不有趣。" 他在 2024 年共同撰写的立场论文中还提到，不同表格数据集之间难以比较。虽然语言语义相似利于 LLMs 训练，但在变量截然不同的表格上训练单一模型难度极大。

此外，语言本质是序列化的，词序改变会影响含义；而表格数据是非序列化的，交换行列位置不改变事实含义。这种对线性顺序的独立性与 LLMs 预测线性序列下一个值的基本目的不相容。Fundamental 首席执行官 Jeremy Fraenkel 表示：" 使用 LLMs 时，即使输入微小变化，输出也会不同。这在创意场景可接受，但在判断交易欺诈时，你需要确保预测结果一致且确定。"

Fundamental 开发 LTM 的过程

当前表格数据解决方案多依赖 XGBoost 等存在超过 15 年的机器学习算法，需数据科学家针对每个用例花费数月优化。相比之下，NEXUS 等新兴大型表格模型（LTM）属于基础模型，利用从多样化数据库预训练中积累的知识，可在极少定制特征工程的情况下应用于各种预测任务。

与模拟令牌序列的 LLMs 不同，LTMs 直接建模表格数据结构，联合学习条目数值、含义及其相互关系。以杂货库存表中的香蕉为例，LTM 不仅接收数量，还能识别其代表当前库存、类别为农产品，以及该条目与列其余部分的统计属性联系。这种上下文理解能力提升了推理和预测准确性。

Fraenkel 介绍，开发 NEXUS 的重大挑战在于获取合适训练数据。与自然语言相比，表格数据敏感、专有且多样性极高，生物与金融数据集几无相似之处。Fundamental 利用合作伙伴及许可获得的专有数据集、高质量公共开源数据集，以及数据增强技术，以数十亿张表格为基础对 NEXUS 进行预训练。他强调，NEXUS 未使用客户数据训练，作为一个机密计算平台，Fundamental 在物理上无法访问客户数据。

这一特性成为今年 6 月亚马逊云科技（AWS）将 NEXUS 嵌入 Amazon SageMaker 的关键考量。SageMaker 被视为安全机器学习的默认操作系统，使 NEXUS 能接触敏感数据，这与需导入数据的 LLMs 形成鲜明对比。" 我们与亚马逊建立第一方合作伙伴关系，模型表现如同原生 AWS 解决方案，"Fraenkel 称，目标是将此类关系扩展至允许用户 anywhere 访问数据并进行预测。

数据分析的未来

Fundamental 在企业应用方面领先，但并非孤军奋战。今年 3 月，Feedzai 和 Mastercard 分别推出专注金融领域的类似专有技术；6 月下旬，Google 推出完全由数亿个合成数据集训练的基础模型 TabFM。FlexTab、TabICL 和 iLTM 等也是研究社区过去一年开发的众多 LTM 代表。

van Breugel 表示：" 如果未来大多数数据处理和分析不是通过自动化系统完成，我会感到非常惊讶。大多数人不喜欢做数据分析，而这些系统将能更好地完成工作。"Fraenkel 赞同此观点，并将 LLMs 和 LTMs 的关系比作人脑：" 左半球擅长推理、理解和总结文本，右半球擅长理解数字、统计和模式。两者结合，才能获得真正强大的力量。"

【星途科讯 图文丨欧阳布布 首发于 ZAKER 科技，转载请注明出处】