证券之星 03-29
中国电信获得发明专利授权:“模型推理优化方法、装置、设备、存储介质和程序产品”
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

证券之星消息,根据天眼查 APP 数据显示中国电信(601728)新获得一项发明专利授权,专利名为 " 模型推理优化方法、装置、设备、存储介质和程序产品 ",专利申请号为 CN202411708873.8,授权日为 2025 年 3 月 28 日。

专利摘要:本公开提供了一种模型推理优化方法、优化装置、设备、存储介质和程序产品,涉及大语言模型技术领域。其中,模型推理优化方法包括:响应于接收到的模型推理的推理请求,由全局调度器基于配置的全局提示树的本地感知策略确定第一执行实例,第一执行实例能够重用推理请求的上下文缓存;将模型推理的预填充任务调度至第一执行实例,以基于第一执行实例执行预填充操作得到包括上下文缓存的键值缓存;将模型推理的解码任务调度至第二执行实例,以基于第二执行实例对包括上下文缓存的键值缓存进行解码,得到推理结果;由全局调度器将推理结果反馈至请求端。通过本公开的技术方案,能够提高任务分配的合理性,使推理流程更加高效。

今年以来中国电信新获得专利授权 399 个,较去年同期增加了 16.67%。结合公司 2024 年年报财务数据,2024 年公司在研发方面投入了 145.27 亿元,同比增 11.3%。

数据来源:天眼查 APP

以上内容为证券之星据公开信息整理,由智能算法生成(网信算备 310104345710301240019 号),不构成投资建议。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

中国电信 专利 证券之星 专利申请
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论