Token推动计算Compute需求:非线形增长.pdfVIP

Token推动计算Compute需求:非线形增长.pdf

  1. 1、本文档共20页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

证券研究报告

科技

Token推动计算Compute需求:非

线形增长

科技增持(维持)

2025年7月17日│中国内地动态点评计算机增持(维持)

Token调用量与算力需求非线性增长

推理和Token调用量之间不是线性关系:从AgenticAI底层来看,

推理过程的倍数项包含Agent数和迭代次数,多Agent协作和多工

具调用带来Token消耗量倍数增长。Token的增长与算力硬件需求

之间也不是线性关系:据黄仁勋在3月份的GTC大会中所述,“Token

量增长10倍,所需的算力量的增长可能增长100倍”。这是因为推

理过程变得更加复杂,在同样的算力条件下,计算的时间也将增长,

如果要求模型具备交互性与实时性,则需要将计算速度提升10倍。

我们认为,AgenticAI将带来Token调用量10倍以上增长,从而带

来算力需求100倍以上提升。目前市场对于算力需求有较大的预期

差,未来算力需求空间广阔。行业走势图

科技计算机

三条Scaling曲线为算力需求打开空间(%)沪深300

目前市场熟知的Scalinglaw是预训练Scalinglaw,即数据和参数量的增长83

可以提升模型性能。对预训练Scalinglaw见顶的担忧导致市场对算力的需59

求的低估。但我们认为,考虑到后训练Scaling和推理Scaling,AI对算力

36

的需求仍有大量空间。推理Scaling的必要性在于提高模型性能,特别是模

型在困难问题方面的表现,是通往AgenticAI的重要路径。回顾Grok4的12

发展历程,对应了三条Scaling曲线。2025年2月,Grok3发布,相比于(12)

Grok2,将预训练阶段的算力扩大10倍,实现性能的突破,对应预训练阶Jul-24Nov-24Mar-25Jul-25

段的Scalinglaw。2025年7月,Grok4发布,将后训练与推理过程的算力资料来源:Wind

扩大10倍,在推理/测试阶段花费更多时间思考,调用更多算力,例如通过

多Agent共同思考,商议问题结果,进一步在HLE测评集上实现突破,对

应后训练与推理过程的Scalinglaw。

Token调用量随推理扩展呈倍数增长

GTC2025大会中,黄仁勋多次提到了“AgenticAI”,理解AgenticAI才

能理解大会中Token量大幅增长的结论。我们认为DeepResearch是

“Agentic化”的AISearch,是研究AgenticAI合适的抓手。我们从Deep

Research的底层系统设计入手,分析得出Token量增长源于多Agent和多

工具调用,并基于系统运行流程对Token增量进行量化。根据我们的测算,

DeepResearch的Token消耗可能接近单次聊天的50倍。对于比Deep

Research更复杂的一般AgenticAI,Token增长量会更高。

AI算力需求随Token增长呈倍数增长

推理过程中存在延迟与吞吐量两个重要指标,两个指标相互制约,分别决定

了用户对于模型/AI应用的使用体验(若延迟过高,则会失去用户)与模型

/AI应用厂商的总任务处理量,对应AI服务的量价关系,从而决定了AI服

务的商业化。考虑模型/AI应用厂商Token经济学的“帕累托最优”问题,

则需要追求用户使用量与AI服务质量之间的平衡,而想要扩大最优边界,

则需要增加算力硬件。随着推理过程变得更加复杂,在同样的算力条件下计

算的时间也将增长。用户太久的等待将失去耐心,如果要求模型具备交互性

您可能关注的文档

文档评论(0)

情报猿 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档