作者 | 黄昱

2025 年 AI 应用爆发，同时迎来 Agent 元年等背景下，推理需求暴涨。为了抓住这一机遇，云服务厂商也积极升级云基础设施，来满足市场需求。

9 月 16 日，在 2025 腾讯全球数字生态大会上，腾讯集团副总裁、腾讯云总裁邱跃鹏表示，大模型产业重心从训练到推理的转变，已经成为行业共识。同时客户对于使用大模型和建设 Agent 迸发出强烈热情，这都带来了推理需求的暴涨。

这也意味着，AI 基础设施要同步升级。

近年来，腾讯云正不断升级云基础设施，以支撑 Agent 规模化落地和企业全球化发展。据邱跃鹏介绍，腾讯云已在推理加速、Agent Infra 和国际化布局等方面取得突破，并将以更加开放的姿态，助力企业把握时代机遇。

在推理加速方面，腾讯云深入参与开源贡献，向 DeepSeek、vLLM、SGLang 等社区提交了多项优化技术。同时，针对大模型推理面临的内存瓶颈，腾讯云自研并开源 FlexKV 多级缓存技术，大幅降低 KVCache 的占用，将首字时延降低多达 70%。

同时，邱跃鹏透露，腾讯云依托异构计算平台整合多种芯片资源，向外界提供高性价比的 AI 算力。目前，该平台已全面适配主流国产芯片。

据悉，软硬件协同全栈优化是腾讯云的长期战略投入，通过异构计算平台的软件能力，整合不同类型的芯片对外提供高性价比的 AI 算力。

今年被视作 Agent 元年，当前沿技术走向企业生产环境，如何确保其在一个安全可信的环境中高效运行成为新的挑战。为此，腾讯云还推出了全新的 Agent infra 解决方案—— Agent Runtime。

Agent Runtime 集成了执行引擎、云沙箱、上下文服务、网关、安全可观测服务等五大能力。其中，云沙箱基于自研技术，启动时间只需 100 毫秒，支持数十万实例并发。

除了面向 Agent 升级基础设施，邱跃鹏指出，腾讯云也在思考如何将 Agent 能力应用在客户的云上旅程，帮助客户更好的用云、管云，于是就有了腾讯云的专家服务智能体—— Cloud Mate。

Cloud Mate 由一系列凝聚了各个云上领域经验的子 Agent 构成，它不仅仅是一项技术，更是腾讯云海量实践的汇总，能够可视化治理云上架构、前置拦截风险，并大幅提升问题处理效率，改变管理云的方式。

邱跃鹏透露，在内部实践中，Cloud Mate 实现风险 SQL 拦截率 95%，排障时间从 30 小时缩短至最快 3 分钟。

Agent 时代汹涌而来，云服务厂商们正在积极打好这场军备战。