量子位 前天
天命人闲置的4090,把GPU租赁价格打下来了(doge)
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

GPU 租用市场越来越玄幻了,价格被打下来的原因,居然可以是天命人闲置的 4090被循环利用了?

最近,一种新型的 GPU 租赁方式开始兴起。

它能让手上有闲置计算卡的人,把资源租给需要的人。

举个例子,为了打黑神话买了 4090 的天命人,可以把卡租给炼丹侠们。自己能挂机 " 躺着 " 赚钱,炼丹侠还能以更划算的价格租算力(4090 只需每小时 1 块钱那种)。

距离大范围算力荒才过去仅仅 1 年,算力租赁市场已经是一番新气象了。

不仅如此,老牌租赁平台们也纷纷主动降价。海外,H100 价格被卷到每小时 2 美元。

国内情况亦是如此,A100(80GB)租用价低至6.68 元 / 小时,40GB 为3.28 元 / 时,A800 则是5.98 元 / 小时

按理说,现在正是 AI 算力需求旺盛的时刻。大型云厂商打价格战为了跑马圈地还可理解,算力租赁平台价格没有水涨船高,反而开始降价……

这背后,到底发生了啥啊?

" 白菜价 " 搞定高端算力

先一句话总结,相较于 ChatGPT 元年,AI 算力告急问题总体得到缓解,但是依旧面临挑战。

如上变化由算力供需侧共同影响而来。

首先在算力供给上,大模型趋势进一步推动 AI 底层硬件以及基础设施发展

国际方面,英伟达这两年不仅扩大了 AI 计算产品线,更在产能上大幅提升,以满足暴增的市场需求。

Hopper 架构和 Blackwell 架构均包含 Transformer 引擎,分别推出了 2 款产品供市场选择,且不同架构之间的代际升级非常明显。B200 的晶体管数量已达到 2080 亿,分别是 H100 的 2.6 倍、A100 的 3.8 倍,后两者则发布于大模型浪潮之前。

两个 B200 GPU 与 Grace CPU 结合就成为 GB200 超级芯片。在标准 1750 亿参数 GPT-3 基准测试中,GB200 的性能是 H100 的 7 倍,提供的训练算力是 H100 的 4 倍。

眼下首批工程版 B200 已经送到 OpenAI 投入使用。据天风国际分析师郭明錤透露,英伟达 Blackwell GB200 四季度的出货量将在 15 万块至 20 万块,明年第一季度出货量将显著增长 200%-250%,达到 50-55 万块。

这同时带动了全行业的产品迭代升级节奏,AMD、英特尔等为保持竞争力,近两年也纷纷推出更先进 AI 计算产品。

更具规模的变化体现在算力基建方面。据中国信息通信研究院测算,截至 2023 年底,全球算力基础设施总规模达到 910EFLOPS,同比增长 40%

美国、中国算力基础设施规模位列前两名,算力全球占比分别为 32%、26%。

另一方面,算力需求也在近一年内发生变化

随着开源模型性能达到 GPT-4 水平(如 405B Llama 3、DeepSeek-v2 等),以及中小模型(7B-70B 规模)应用更加成熟,中小企业 / 开发者陆续入场,以及近期趋势推理 Scaling law 成为新方向。黄仁勋预测,随着推理链的出现,推理的规模预计将迎来千万乃至十亿倍的增长。

种种原因都导致市场的微调推理需求大幅增加,训练需求的增长趋势开始放缓。

相较于训练,推理阶段对硬件的要求没有那么高。在实际场景中,往往是用最先进设备进行训练,上一代产品进行推理。

因此可以看到,大型厂商依旧追捧 H100、B200 等高端 GPU,但是中小企业 / 开发者不再趋之若鹜,转而关注更具性价比的选择。

但问题是,算力供需不平衡问题依旧棘手。

宏观上,《人工智能算力高质量发展评估体系报告》中表示,我国算力市场还面临供给不足、算力智能水平较低、能源考验、供应链完备性不足等问题。

微观上,以学术圈为例," 算力荒 " 还是普遍现象。

今年 5 月,李飞飞在采访中透露,斯坦福 NLP 实验室只有 64 块 A100。相比于产业界,这个数字不值一提,但在高校圈里已经是相当富有了。

更普遍的现象是,许多高校实验室都只有消费级显卡,大家还需要排队使用。实验经费有限导致租赁算力也将面临更多制约。

在这些矛盾下,算力市场开始更加主动、自发提出新型应对措施。

最明显的迹象莫过于——经典算力平台主动降价 + 新兴算力租用模式浮现。

能薅羊毛更能挂机赚钱

今年算力市场最热门的话题莫过于 " 价格战 ",这并不局限于卖大模型服务的云厂商,提供算力租赁的各大平台也是主角。

不同类型的平台降价方式也有所差距。

目前算力租赁平台主要有两种类型:

算力云平台

C2C 算力租用平台

前者好比京东,其所有的 GPU 服务器是自营资源,通常在提供算力的同时也保障一系列配套服务,能让用户更低门槛、更便利调用算力。该模式下,定价权在运营方自己手里,今年以来多家平台都在主动降价

后者好比淘宝,为机主和用户提供平台,供双方进行服务交易。这种模式较为新兴,可以让有闲置计算资源的机主将 GPU 出租," 挂机赚钱 "。它天生就能提供更具性价比的租赁价格

不过需要注意,对于算力租赁,价格低只是考量因素之一,用户同时关注平台提供的服务能力。

对于前者,用户更关心平台提供的算力是否足够划算、使用是否足够友好;对于后者,机主和用户则更在意平台是否靠谱。

更具体的模式分析,来看行业典型案例。

经典算力云平台中,论谁打价格战最凶猛,AutoDL 必是其一

有资历的炼丹侠们对这个平台应该都不陌生。就是它当年把 3090 的租用价格从 4.5 元 / 小时打到了 1.32 元 / 小时,在用户这儿是有口皆碑了。

它在 2021 年上线,专注于提供弹性、好用、省钱的 GPU 算力服务。

GPU 总规模在国内同类型平台中位列前茅,提供丰富的 GPU 选择,包括 A100、A800、V100、4090、3090 等。

它的主要目标用户包含了高校科研人群以及企业用户,所以在极具性价比的同时也主要入门友好。

平台支持各种深度学习框架,如 TensorFlow 和 PyTorch,并提供相应的 CUDA 环境,用户可根据需求选择合适的镜像。

具体能力上,兼顾科研、企业需求。主要包括:

用卡弹性:提供容器实例和 API 弹性调度模式,支持千卡级别弹性调度;

团队管理:支持实验室、团队等场景中对多个子账号管理;

私有云:支持本地机器免费接入,将 AutoDL 云上高效管理与使用体验移植本地;

CodeWithGPU 社区:支持镜像和模型分享,分享镜像可获取收益

付费方面更符合 " 羊毛党 " 需求,主要提供按秒计费、包卡计费两种模式。

按量计费模式下,实例开机开始计费,关机结束计费,时长可精确到秒,最低计费 0.01 元。关机所有数据会保留(15 天),支持镜像保存、文件存储等。

包年包月为预留 GPU 模式,支持按日按周按月等租用,价格比按量计费更便宜,长期使用更划算。

而且只要注册,平台就送一个月炼丹会员,认证学生直接升级炼丹会员,认证期间内将一直有效。会员将享有价格优惠。

另一方面,大模型趋势兴起后,C2C(用户对用户)模式变得火热。

硅谷的代表为 San Francisco Compute,从寂寂无名到成为黑马,它仅仅用了半年时间。还拿下了山姆 · 奥特曼弟弟领投的 1200 万美元种子轮融资,估值达到 7000 万美元。

国内如今也出现类似趋势,比如刚刚上线 3 个月的橘皮优,现已和 AutoDL 达成战略合作。

按照自我定义,橘皮优是一个促进 C2C 双边 AI 算力交易的撮合平台。

它的核心目标是通过共享经济的模式,降低用户使用 AI 算力的成本,同时让私有闲置算力被高效应用,推动了算力普惠和绿色低碳。

该平台支持的算力类型包括 GPU、NPU、CPU、ASIC、ARM、RISC-V 等,能够满足 AI 训练、AI 推理、图像生成以及渲染等任务需求。

相较于 AutoDL,橘皮优提供的算力租赁服务价格更低,适用于对机器配置不敏感的人群。

同时它更加定制化,支持个人的外部镜像、实例端口灵活。

也可以在该平台上成为机主对外出租赚外快,支持自助上机,不限制机器和数量。

由于和 AutoDL 达成战略合作,背后团队是算力行业老兵,在鱼龙混杂的算力市场里是更加靠谱的选择。

或许也不用担心没人来租,毕竟 AutoDL 靠着性价比优势,在短短 3 年时间里形成庞大的用户基础。之前大家用卡都是靠抢的。

所以也不免有人好奇,这么低的价格,它图啥啊?

其实,AutoDL 技术团队本身就来自学术圈,从 2017 年开始就在做 GPU 相关服务。这样的出身背景下,AutoDL 团队自然更懂 AI 行业痛点,并积累了丰富经验。

由此也就不难理解 AutoDL 为何坚持提供量大管饱还划算的算力资源。

随着 AI 大模型应用落地趋势继续,对 AI 算力的需求还会继续增加。

对于很多科研高校、中小企业而言,算力会成为研发和落地应用上的第一道门槛。

如今,随着算力租赁市场发展更加完善,模式更加多样化,使用算力也变得像去食堂打饭一样——量大管饱还实在。

对于行业而言,这能更大程度缓解算力供需不平衡问题,同时也让资源实现更高效绿色流转。

当然,最主要的还是各位炼丹师们可以薅到羊毛,因为玩黑神话入手 4090 的天命人们也能找到回本的渠道。

最后,附上文中两个平台的官网,感兴趣同学可进一步了解!

AutoDL 官网:https://www.autodl.com

橘皮优官网:https://gpu.pro

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

逗玩.AI

逗玩.AI

ZAKER旗下AI智能创作平台

相关标签

ai 英伟达 gpu 天命 出货量
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论