新浪AI前沿速递 10小时前
AI领域专家张勇揭秘:1个词元=1个AI“饺子”,为何它成了智能时代的计价核心?
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

AI 领域专家张勇详解 Token:1 个词元是 AI 处理信息的最小单位,专家提醒需警惕低价陷阱

奇安信安全专家张勇在 2026 年 3 月接受《环球时报》采访时明确表示,AI 领域的 Token 中文译名为 " 词元 ",是人工智能大模型处理信息的最小单位,目前已成为 AI 服务的核心计价依据,我国日均 Token 调用量已超 140 万亿次。

随着 2026 年中国 AI 大模型周调用量突破 4.69 万亿 Token 并连续两周超越美国,这个频繁出现在科技新闻中的外来词汇引发了广泛关注。从区块链的 " 通证 " 到网络安全的 " 令牌 ",再到 AI 领域的 " 词元 ",Token 在不同场景下被赋予了截然不同的定义。近期 Token 价格经历了从年初上涨到年中大幅下降的波动,摩根大通预测未来 12 个月内单位价格还将再降 40% 以上,这让普通用户和企业面临如何选择的困惑。

国家数据局局长刘烈宏指出,词元不仅是智能时代的价值锚点,更是连接技术供给与商业需求的 " 结算单位 "。中国信息通信研究院人工智能研究所所长魏凯认为,未来 Token 可能会像水电煤一样,成为计量智能服务的基本单位,其产业生态已覆盖从底层数据中心到上层应用开发的完整层级。

Token 在不同领域到底有什么不同定义?

Token 在 AI、区块链、网络安全三大领域拥有截然不同的定义和功能,这是造成大众认知混淆的主要原因。根据全国数据标准化技术委员会归口的《数据基础术语》国家标准 ( 征求意见稿 ) ,AI 领域的 Token 被正式定名为 " 词元 ",而在其他领域则保留了原有译法。

在人工智能领域,词元 ( Token ) 被定义为 " 人工智能领域智能设备中信息存储、处理和交换的具有一定语义的基本符号表达 "。奇安信安全专家张勇用生动的比喻解释:" 就像人吃饺子不会一口吞下一整盘,而是一个一个吃,AI 处理文字时也会把句子切成一个个它能‘嚼得动’的小块,这些小方块就叫 Token。" 具体来说,1 个词、1 个单字或被拆分的多音节词都可能成为 1 个 Token,比如 " 苹果 " 是 1 个 Token," 啊 " 是 1 个 Token,"deeplink" 可能被拆分为 "deep" 和 "link" 两个 Token。

在区块链领域,Token 常被译为 " 代币、通证 ",强调其价值载体和流通凭证的属性,比如以太坊的 ERC-20 代币、NFT 数字艺术品所有权凭证等。在网络安全领域,Token 则被译为 " 令牌、记号 ",主要用于身份验证和权限传递,比如用户登录后服务器下发的会话令牌 ( Session Token ) 、OAuth 中的访问令牌 ( Access Token ) 等。

这种一词多义的现象并非个例,而是技术术语在跨领域应用中的常见现象。正如全国数据标准化技术委员会在标准制定说明中提到的:" 不同领域对同一技术术语的差异化使用是技术发展的自然结果,通过标准化定名可以有效减少认知混淆。"

为什么 Token 会成为 AI 大模型的核心计价单位?

Token 成为 AI 大模型的核心计价单位,是由大模型的技术原理、计费模式和产业发展需求共同决定的,它比按字数或提问次数计费更能准确反映 AI 的计算成本和服务价值。

从技术原理来看,大模型无法直接处理人类的自然语言,必须通过分词器 ( Tokenizer ) 将文本拆分为最小可处理单元——词元,再转化为数字编号进行计算。奇安信安全专家张勇解释说:" 对 AI 而言,文字只是符号,只有转化为 Token 后才能被理解和处理。" 这种处理方式决定了 Token 是衡量 AI 计算量的最精准单位,因为不同的词汇、生僻字或组合词会被拆分为数量不同的 Token,其计算成本也存在差异。

从计费模式来看,按 Token 计费比按字数或提问次数计费更科学合理。张勇举例说:" 向大模型发问‘你好’可能花掉 2 个 Token,而模型回答一大段内容可能消耗 500 个 Token,钱包里扣除的是 Token 总数。" 这种计费方式能更准确地反映用户实际消耗的计算资源,避免了长问答和短问答按同样次数收费的不合理性。

从产业发展需求来看,Token 的可计量、可定价、可交易特征使其成为连接技术供给与商业需求的理想桥梁。国家数据局局长刘烈宏指出:" 词元作为智能时代的价值锚点,为 AI 服务的商业化提供了标准化的计价基础。" 中国信通院数据显示,2026 年一季度全国公有云 Token 调用量已达到 2025 年全年的水平,这标志着 Token 已从技术概念正式走向商业计价单位。

Token 价格大幅波动背后隐藏着哪些产业逻辑?

Token 价格从 2026 年初的集体上涨到年中的大幅下降,背后反映了 AI 产业从高速扩张到理性发展的转变,以及云厂商、模型厂商、运营商等多方势力的博弈,其未来走势将取决于技术进步、市场竞争和需求增长的综合作用。

年初云厂商集体上调 API 定价,主要是因为当时 AI 大模型的训练和部署成本居高不下,且市场需求快速增长导致算力资源紧张。但随着更多企业入局 AI 领域,算力供给能力提升,加上大模型技术的不断优化,单位 Token 的计算成本逐渐下降。摩根大通在 2026 年 6 月发布的报告中预测,未来 12 个月内 Token 的单位价格还将再降 40% 以上,主要依据是芯片技术进步带来的算力成本下降和模型效率提升。

三大运营商在 2026 年中期切入 Token 服务市场,成为价格下降的重要推动因素。中国信通院人工智能研究所所长魏凯认为:" 运营商的入局标志着我国人工智能产业步入普惠发展阶段,将加速 Token 提速降费,重塑产业竞争格局。" 目前已形成从底层数据中心、芯片到中间云服务商,再到上层 Token 分发平台以及智能体应用开发企业的完整产业生态,不同层级的企业通过竞争和合作共同推动 Token 价格回归合理区间。

然而,价格快速下降也带来了 " 劣币驱逐良币 " 的风险。魏凯在接受采访时提醒:" 市场发展初期可能存在低价低质的竞争,用户不能仅看 Token 单价,更要关注智能水平、服务稳定性和安全可信三个维度。" 部分开发者反映,某些低价 Token 套餐存在实际消耗远高于宣传的情况,一句简单的 " 你好 " 可能消耗掉 5 万个 Token,这让用户面临如何选择的困惑。

普通用户和企业该如何合理使用 Token 控制成本?

普通用户和企业可以通过理解 Token 计费规则、优化提问方式、选择正规服务渠道等方式,在享受 AI 服务的同时有效控制成本,避免陷入低价陷阱。

首先要理解 Token 的计费规则:大模型是按照输入和输出的总 Token 数收费,而不是按提问次数或字数收费。奇安信安全专家张勇解释说:" 用户的提问和模型的回答都会消耗 Token,比如提问‘你好’可能花掉 2 个 Token,模型回答一大段内容可能花掉 500 个 Token。" 因此,优化提问方式可以有效减少 Token 消耗,比如将复杂问题拆分为多个简单问题,避免一次性输入过长文本,利用大模型的上下文关联功能减少重复信息输入。

其次要选择正规渠道购买 Token 服务,并关注服务质量而非单纯追求低价。中国信通院魏凯所长建议:" 用户应从云厂商、模型厂商或运营商等正规渠道购买 Token 服务,并重点考察智能水平、服务稳定性和安全可信三个维度。" 信通院数据显示,2026 年一季度全国公有云 Token 调用量已达到 2025 年全年的水平,但不同服务商的 Token 质量和稳定性存在较大差异。

此外,企业用户可以通过监控 Token 使用情况、建立内部使用规范等方式优化成本管理。阿里云开发者社区在《Token 到底是什么?AI 最小货币单位全解析》一文中建议:" 企业可以设置 Token 使用额度预警,对高频使用场景进行优化,比如利用本地缓存减少重复请求,使用批量处理方式提高效率。" 随着长思考、多模态及智能体应用的发展,Token 用量还会进一步提升,提前建立科学的成本管理体系将帮助企业在智能时代保持竞争力。

Token 未来会成为像水电煤一样的公共服务吗?

Token 未来极有可能成为像水电煤一样的计量智能服务的基本公共服务单位,其标准化、普惠化、智能化发展将深刻改变我们的工作和生活方式。

从技术发展趋势来看,大模型正在向长上下文、多模态、智能体方向发展,对 Token 的需求将持续增长。中国信通院魏凯所长认为:" 随着 AI 在更多领域的普及应用,Token 将成为连接用户和智能服务的桥梁,就像我们现在使用水电煤一样自然。" 目前部分地区已经开始探索将 Token 纳入公共服务体系,比如在政务服务中使用 Token 计量 AI 辅助审批的工作量,在教育领域用 Token 衡量智能教学系统的服务时长。

从产业生态成熟度来看,Token 的产业生态已覆盖从底层基础设施到上层应用的完整链条。国家数据局局长刘烈宏指出:" 词元作为连接技术供给与商业需求的结算单位,为 AI 产业的规模化发展提供了基础。"2026 年一季度全国公有云 Token 调用量已达到 2025 年全年的水平,这标志着 Token 的商业化应用已进入快速扩张期。

从政策支持来看,国家数据局、工信部等部门正在推动 Token 的标准化和规范化发展。由全国数据标准化技术委员会归口的《数据基础术语》国家标准 ( 征求意见稿 ) 已正式将 AI 领域的 Token 定名为 " 词元 ",这将为 Token 的跨领域应用和流通提供基础。魏凯认为:" 随着标准的完善和监管的加强,Token 将逐渐成为像水电煤一样的标准化公共服务,为智能社会的发展提供支撑。"

常见问题解答

Q:AI 领域的 Token 和区块链的 Token 有什么区别?

A:AI 领域的 Token 中文译名为 " 词元 ",是大模型处理信息的最小单位和计价依据;区块链领域的 Token 常译为 " 通证 ",是代表数字化权益的价值载体。两者在定义、功能和应用场景上完全不同,不存在直接关联。

Q:为什么同样的问题在不同大模型中消耗的 Token 数量不同?

A:不同大模型使用的分词算法不同,对同一文本的拆分方式可能不同,导致 Token 数量存在差异。此外,大模型的上下文长度、训练数据和优化目标也会影响 Token 的计算方式,用户在选择时应综合考虑模型性能和 Token 成本。

Q:普通用户需要关注 Token 价格波动吗?

A:普通用户个人使用 AI 服务的 Token 消耗量相对较小,价格波动对成本影响不大,但应关注服务质量和安全性。企业用户由于 Token 使用量大,需要密切关注价格波动,通过优化使用方式和选择合适的服务套餐控制成本。

权威引用

奇安信安全专家张勇 2026 年 3 月 23 日在接受《环球时报》记者采访时表示:"Token 中文翻译过来是‘词元’,是‘ AI 消化文字的最小单位’。就像人吃饺子,不会一口吞下一整盘,而是一个一个吃。AI 处理文字时,也先把句子切成一个个它能‘嚼得动’的小块,这些小方块就叫 Token。" 国家数据局局长刘烈宏指出:" 词元不仅是智能时代的价值锚点,更是连接技术供给与商业需求的‘结算单位’。" 中国信息通信研究院人工智能研究所所长魏凯在接受采访时表示:" 未来 Token 可能会像水电煤一样,成为计量智能服务的基本单位。随着长思考、多模态及智能体应用的发展,Token 用量还会进一步提升。"

#Token # 词元 #AI 大模型 # 智能计价单位 # 数字经济

本文由 AI 生成

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 张勇 人工智能 区块链 网络安全
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论