量子位 01-22
AI时代不看独角兽,看10亿Tokens日均消耗
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

创立 10 年内估值超过 10 亿美元的创新公司,被称之为独角兽,它们是市场潜力无限的绩优股,是为行业带来技术创新、模式创新的佼佼者。

大模型时代中,类似的新价值红线也正在形成——

日均 10 亿 Tokens 消耗量,AI 业务跑通的基本标准

量子位结合 2024 下半年市场数据盘点,达到这一红线的中国企业,至少 200 家,覆盖企服、陪伴、教育、互联网、游戏、终端等领域。

这意味着,大模型时代的 " 抢风口 " 大战告一段落,真正具备价值参考的商业模式开始明确。

各个垂直领域的先行者能够找到场景,做到单日至少消耗 10 亿 Tokens,就是最直接的证明。

不过问题是,日均 10 亿 Tokens 基准线,why?

看日活、看单用户 Tokens 消耗

首先来计算下,日均 10 亿 Tokens 消耗量是什么概念?

参考 DeepSeek API 文档中给出的标准:

1 个英文字符 ≈ 0.3 个 Token。

1 个中文字符 ≈ 0.6 个 Token。

在中文世界里,10 亿 Tokens 约代表 16 亿 + 汉字。换算成对话量,一本《红楼梦》的字数在 70-80 万左右,相当于一天和 AI 聊了 2000 本《红楼梦》的内容。

按照一个生成式 AI 模型单次响应平均需要处理 1000 个 Tokens 估算,10 亿 Tokens 意味着一天将完成 100 万次响应。

如果是 To C 应用,100 万次响应背后,至多将是 100 万 DAU

作业帮为例,仅推算其旗下出海产品 Question.AI 的数据,单日消耗 Tokens 就接近 10 亿规模。

这款 AI 教育 App 以大模型为基础,它支持拍图搜题、智能助教等功能,能以 Chatbot 的形式讲解回答问题。

根据作业题目以及实际场景问答预估,一轮对话 Tokens 消耗量 500,单人单日平均对话至少 3 轮。已披露数据显示,Question.AI 的 DAU 将近 60w。

由此推算,仅 Question.AI 的单日 Tokens 消耗量已接近 10 亿规模。与此同时,作业帮还布局多款 AI 应用,并推出了多款 AI 学习机,每日 Tokens 消耗总量只会更多。

再来看 AI 陪聊赛道的筑梦岛

根据最新披露消息,筑梦岛累计创作者数量超 50 万人,Top20 人物中以原创人物为主,占比 85%。筑梦岛用户平均单用户单日输入字数可达 4000 字以上,人均日对话轮次超 120 轮。

单用户单日平均获得的 AI 输出,按照输入的 2-3 倍计算,大约在 8000-12000 字(AI 输出包括 AI 虚拟人对话回复、AI 生成提示回答等)。

量子位智库数据显示,筑梦岛 DAU 目前在 10 万水平。由此可以推算,筑梦岛单日 Tokens 消耗量超过 10 亿规模。

如果来到终端场景,Tokens 的消耗方式则变得更加多元。

AI 手机中除了智能助手,还有各种渗透在系统里的 AI 功能,比如一键路人消除、通话总结、一键识屏等。据 OPPO 2024 年 10 月数据,小布助手月活突破 1.5 亿。

更进一步,云厂商披露的 Tokens 调用量以及合作客户情况也为这一基准提供参考

2024 年 7 月,腾讯混元披露单日调用量达千亿 Tokens(包含自身业务)。

2024 年 8 月,百度披露文心大模型日均调用量超 6 亿次,日均处理 Tokens 文本超 1 万亿;截止 11 月初文心大模型的日均调用量——超过 15 亿次。一年前这个数据是 5000 万次,一年增长了 30 倍。

2024 年 7 月,豆包大模型平均每家企业客户日均 Tokens 使用量增长了 22 倍。12 月字节最新透露,豆包通用模型日均 Tokens 使用量超过 4 万亿。

如此消耗,来自于谁?

参考火山引擎官网披露的客户名单,来自汽车、金融、互联网、消费零售、智能终端、游戏、医疗健康赛道的头部厂商们都很突出,也都是大家耳熟能详的品牌。

与此同时,这群 "10 亿 Tokens 俱乐部成员 " 在 2024 年过得如何,也为这一价值红线提供了有力参考。

AI 业务成为拉动增长的关键贡献

首先来在海外异军突起的作业帮

2023 年 9 月,作业帮推出融合多年教育数据和 AI 算法积累的银河大模型。它专门为教育领域打造,覆盖多学科、多学段、多场景。

另一边,在更能带来直接营收的AI 学习机方面。

2024 年 7 月,沙利文调研认证作业帮在上半年拿下中国全网学习机销量第一。洛图科技数据显示,2024 年第三季度,作业帮学习机产品以 20.6% 的市场份额位居线上市场销量榜首。

企业服务领域,金山云在 2024 年第一季度财报中明确表示,该季度总收入环比稳定增加 3.1%,主要来自于 AI 相关客户。

公有云收入 11.87 亿元,较上季度增长 12.9%,主要由 AI 客户贡献。在主动缩减 CDN 服务规模的情况下,这部分增长拉动整体公有云收入,较 2023 年同季度增加 2.9%。

这种趋势在第二季度、第三季度延续,AI 客户依旧贡献了公有云业务以及整体收入的主要增长

再来看离大家日常生活最近的 AI 手机。

在大模型趋势开启后,OPPO 旗帜鲜明拥抱浪潮,将生成式 AI 功能引入 ColorOS 以及全产品系列,2024 年让将近 5000 万 OPPO 用户的手机搭载 GenAI 功能。

Counterpoint 数据显示,2024 年全球前四大(市场占有率)智能手机厂商分别为三星、苹果、小米、OPPO。

而根据 Canalys 的数据,2024 年,全球 16% 的智能手机出货量为 AI 手机。预测显示,到 2028 年这一比例将激增至 54%。2023 年至 2028 年间,AI 手机市场预计将以 63% 的年均复合增长率(CAGR)增长。这一转变将首先在高端机型上出现。

比如 OPPO 最新发布的 Find X8 系列,AI 味就更加浓厚。通过引入豆包通用模型 Pro、豆包通用模型 Lite、豆包・角色扮演模型以及更强的大模型实时联网检索能力,OPPO Find X8 系列可以提供更加细致的 AI 服务体验。

这种趋势反映到云计算领域,则是更大规模的 Tokens 消耗量。

火山引擎谭待曾在采访中表示:

五年后,企业用到的日均 Tokens 可能达到几百万亿,尤其在多模态大模型推出后,各场景内都会有 Agent 助理跟随,带来很大的消耗量。

得出如此数据预估背后,是对算力基础设施、Agent 发展、AI 应用开发以及整体大模型落地变化的细微洞察。

Agent+AI Infra,百万亿 Tokens 消耗不是梦

先从应用落地角度来看,Agent 趋势愈加明显,AI 原生应用开始发力。

OpenAI CEO 奥特曼的年终盘点中提到:

我们相信,在 2025 年,我们可能会看到第一批人工智能代理 " 加入劳动力大军 ",并实质性地改变公司的产出。

紧接着,OpenAI 身体力行,上线 Agent 能力,ChatGPT 开始有了执行力,可以替人完成各种任务。

更落地层面,量子位智库观测到 AI 原生应用开始发力。

伴随着底层模型能力不断升级,AI 智能助手 APP 在过去一年中增长明显。

2024 年,AI 智能助手 APP 端的新增用户规模就超过 3.5 亿。12 月的单月新增用户超过 5000 万,相较于 2024 年初实现了近 200 倍的增长。

以豆包为例。豆包在 9 月成为国内用户规模破亿的首个 AI 应用后,目前以超 50%的市场份额坐实" 国民级 AI 原生应用 ""AI 智能助手 APP No.1"

就在今天,豆包大模型 1.5 Pro最新上线,能力全面提升。通过 MoE 架构优化,用 1/7 参数量就超过了稠密模型性能。

多模态能力上,视觉能力支持动态分辨率、可处理百万级分辨率图片,在多个基准测试中表现优异;语音方面创新提出 Speech2Speech 端到端框架,实现语音和文本模态深度融合,提升语音对话的理解力和表现力。

同时还通过 RL 方法大幅提升模型推理能力,阶段性进展 Doubao-1.5-Pro-AS1-Preview 在 AIME 上已经超过 o1-preview、o1 等推理模型。

更强大的底层模型无疑为 AI 原生应用提供了更坚实底座。

聚焦到企业侧,切实的增长发生的更早。Agent 开发平台成为云厂商增长最快的企服产品之一。

比如火山引擎推出的 HiAgent,上线 7 个月已经签下 100+ 客户。

它的定位是企业专属的 AI 应用创新平台,目的是帮助企业能够用零代码或低代码的方式走完从模型到应用的 " 最后十公里 "。

HiAgent 可以向下兼容多种模型,原生整合豆包大模型的同时还兼容第三方的闭源或开源模型,并通过提示词工程、知识库、插件、工作流编排四要素来辅助轻松构建智能体,预置丰富的模板和插件,并给予自定义的自由空间。

目前 HiAgent 已经为中国飞鹤、美宜佳、华泰证券等 500 强企业提供服务,落地场景 200+,打造 Agent 500+ 款。

扣子 AI 原生应用开发服务平台也助力苏泊尔、招商银行、和府捞面、中和农信等打造企业级 Agent 开发上线。

相较于 HiAgent,它面向 AI 应用开发人员不足、服务稳定性要求高的企业,降低大模型应用开发门槛。扣子作为 AI 应用开发平台,提供链接插件、工作流、图像流、知识库、数据库等一系列工具,同样无缝衔接豆包大模型家族以及企业精调模型与开源模型,为企业用户提供丰富应用模板,以及调测、发布、集成、观测的全周期服务。比如使用新闻插件,就能快速打造上线一个播报最新时事新闻的 AI 播音员。

透过这些实际落地进展不难发现,当 AI 应用 /Agent 开发门槛大幅降低,各行各业进入到了规模化探索开发阶段,头部企业的脚步更快,更早利用大模型变革自身业务,也更先解锁大模型红利。

随着行业先锋案例陆续出现,未来 AI 应用落地规模还会更进一步铺开。与此同时,如 HiAgent 这类平台也会不断进化,其能力将不局限于智能体开发,而是更进一步发展成为 AI 能力中台。

再来看供给方面,2024 年云计算领域最显化的现象是 " 价格战 "。在这背后其实是算力成本还在进一步优化,云厂商可以继续 " 以价换量 ",推动 AI 应用落地趋势。

行业公认,未来的计算范式应该以 GPU 为核心。

2024 年,云厂商纷纷持续加强 AI Infra 能力,以应对正在爆发的大规模推理需求。

比如火山引擎推出了 AI 云原生方案。它支持大规模 GPU 集群弹性调度管理、计算产品和网络优化都专为 AI 推理设计。在过去一年多的大模型应用落地战中,火山引擎为美图秀秀、沐瞳科技、深势科技等提供了坚实的计算底座。

前不久,火山引擎 Force 冬季大会上还进一步升级了以 GPU 为中心的 AI Infra 分布式业务系统,通过 vRDMA 网络支持大规模并行计算及 P/D 分离推理架构,提升训练和推理效率,降低企业使用成本;EIC 弹性极速缓存解决方案,实现 GPU 直连,使大模型推理时延降低至五十分之一,成本降低 20%。

在技术门槛 / 模型价格不断降低、算力成本不断优化各种趋势交织下,日均百万亿 Tokens 的消耗不是随便说说,而是几乎触手可及的现实。

由此,单个企业日均 10 亿 Tokens 消耗成为一条非常有价值的参考线。

第一,它代表大模型应用落地新趋势,企业拥抱大模型红利,要朝着这一数字前进;

第二,它成为大模型应用落地新阶段的门槛,AI 业务真正跑通了吗?需求真实存在吗?都可以此为参考系找回答。

第三,日均 10 亿 Tokens 消耗也只是大模型落地 " 入门级水准 ",单客户百万亿、千万亿 Tokens 消耗是更值得期待的星辰大海。

只是随着这一新价值基准形成,谁能成为大模型落地的 " 独角兽 ",能更清晰判断了。

1111111   

大模型趋势正在进入全新阶段:大规模商用落地。

生产力释放背后,商业机会不断涌现。我们希望通过这一系列栏目提供一种视角,分析大模型应用落地早期阶段浮现出的种种规律变化,从技术维度把握创新浪潮背后的演化路线。

以上是量子位最新原创系列策划栏目「模力熵增」第三期。

—    —

一键关注 点亮星标

科技前沿进展每日见

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 作业帮 红楼梦 独角兽 技术创新
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论