中国推理算力市场追踪报告，2025H1.pptxVIP

中国推理算力

市场追踪报告，2025年H1

2025年8月

n2025年H1中国推理算力服务市场中，天翼云以【21.4%】的市场份额领先

中国日均Tokens消耗量从2024年初的1000亿增长到截至今年6月底，日均Token消耗量突破30万亿，1年半时间增长了300多倍，这反映了中国人工智能应用规模快速增长。天翼云息壤一体化智算服务平台率先完成国产算力与DeepSeek-R1/V3系列大模型的深度适配优化，成为国内首家实现DeepSeek模型全栈国产化推理服务落地的运营商级云平台。

n未来推理算力长序列与超大模型推理优化成为关键，国产软硬件协同与生态成熟推动推理普及

中国算力正朝着“训推一体”融合架构快速发展，以支撑大规模模型与多模态应用的高效低延迟推理。国产AI芯片与推理框架不断优化，结合模型压缩、量化、动态推理等技术，进一步提升能效比和部署灵活性。

n算力需求重心从训练转向推理，算力基础设施持续扩展与升级

AI算力消耗已从集中式训练转向大规模推理，带来前所未有的增量需求。2025年被认为是算力爆发的元年，推理算力的需求将迎来井喷式增长。推理算力的需求将在未来几年内远超训练算力。

关键发现

02

03

01

u中国推理算力市场综述

•关键发现

•中国推理算力定义及服务覆盖范围

•算力需求重心从训练转向推理

•中国推理算力市场规模分析

•中国推理算力竞争格局分析

•中国推理算力核心技术分析

•中国推理算力相关政策分析

•中国推理算力发展趋势分析

•中国推理算力未来挑战分析

F

市场研读|2025/08

研究框架

2

推理是指利用训练好的大模型，使用新数据推理出各种结论。

推理芯片的目标是在已经训练好的模型上执行任务，推理芯片不需要进行复杂的学习过程，其设计重点是在保持高效计算的同时，尽可能减少功耗。

因此，推理芯片比较关注低延时、低功耗。可配置使用优化的推理硬件，高效能的服务器和网络设备如GPU、NPU或FPGA，这些硬件能够高效执行模型推理任务，以确保快速响应时间和稳定的服务。但不一定需要与训练时相同的硬件配置。

推理型智算中心的硬件更注重处理速度和可靠性。

中国推理算力：定义与服务覆盖范围

关键发现

推理算力主要负责AI模型的推理任务，主要用于处理和执行已经训练好的模型进行实际应用。这包括执行推理任务、处理实时数据和提供预测结果。推理过程通常对计算资源需要快速响应，对实时性要求较高。

推理算力定义范围

d

随着AI从训练为重走向推理为主，私有化环境及边缘的部署需求都在迎来爆发。

推理平台及应用部署偏好

市场研读|2025/028中国：云服务系列

设备端

边缘服务器

本地一体机部署

私有云

公有云

Forward

‘自行车’

3%

5%

8%

26%

49%

4%

12%

19%

16%

58%

模型权重

Modelweights

模型推理Inference

20232027

???????

D

4

预训练

二次训练

全参微调

局部微调

ToC推理

ToB中心

ToB边缘

大型互联网

运营商

大模型公司

行业头部企

业

大中型企业

大中小企业

大型互联网

大型企业

分支/

中小企

超大规模

大规模

较小规模

小规模

超大规模

大规模

小规模

千卡～万卡

数百卡～千卡

单机8卡起步

单机1卡起步

千卡以上

数百卡~

数十卡

很高

高

较高

一般

很高

高

较高

TP/DP/PP并行，海量数据

基模选择，高质量数据

十万～百万条指令集

万条指令集

极致性能

融合高效

灵快轻易

算力需求重心从训练转向推理

关键发现

2025年年初，Deepseek-V3的低成本训练为推理芯片和推理算力市场注入了一剂强心针，市场不再追求简单的算力规模的扩展，而是开始关注AI在特定业务场景下的实际应用表现，各地算力中心的资源利用率呈现出显著提升的良好态势。

模型训练与推理

d

市场研读2025/08中国：云服务系列

100%

90%

80%

70%

60%

50%

40%

30%

20%

10%

0%

训练推理

业务

主体

算力

需求

工程

难度

中国人工智能算力负载预测，2024