XX云大模型技术与教育智能体应用.docxVIP

下载本文档

1
0
约6.53千字
约 38页
2025-11-06 发布于湖南
举报
版权申诉

XX云大模型技术与教育智能体应用.docx

1、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
7、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

XX云大模型技术与教育智能体应用

PART1

PART2模型训练与模型推理平台

PART3RAG知识库构建平台

PART4智能体构建平台

PART4

PART5

大模型落地方向概要

教育行业技术与产品的发力方向

大模型在高校落地的四个场景及阶段

结合校级师生

结合校级师生工作学习数据

LLM结合DataAI

借助训练、调优工具，提升可用性

结合院系师生文档知识LLM+RAG（私域）或联网有哪些信誉好的足球投注网站（公域）

结合院系师生文档知识

LLM+RAG（私域）或联网有哪些信誉好的足球投注网站（公域）

借助确定、权威的知识，提升可用性

自建大模型/调用DSAPI

纯大模型能力

独立思考，快问快答

结合院系内部系统及平台

LLM结合Agent或Workflow

借助knowhow、业务流

程，

提升可用性

模型训练与推理平台

高校训练自有大模型的便捷平台

严格先进先出空闲插队优先级空闲插队调度策略任务管理与运营标签分组管理定时扩缩容队列可视化排队策略训推一体、潮汐调度l大幅提升算力资源利用率l大幅降低算力运营精力优先级调度灵活的标签优先级组合

严格

先进先出

空闲插队

优先级

空闲插队

调度策略

任务管理

与运营

标签分组

管理

定时

扩缩容

队列

可视化

排队策略

训推一体、潮汐调度

l大幅提升算力资源利用率

l大幅降低算力运营精力

优先级调度

灵活的标签优先级组合

高优抢占训推联动抢占策略

大幅减%型权重对对显存的占用

单位时间内处理更多请求

(QueriesPerMinute)

TTFT缩短70%大幅降低首字延时(TimeToFirstToken)

推理加速能力业界领先

l内置Angel加速套件，DeepSeekR1/V3满血版推

理加速能力处于行业第一梯队

l支持SGLang、vLLM开源框架、灵活配置的PD分离能力

l即将支持kvstore方案、DP+EP并行能力

QPM提升380%

并发上限提升4倍

单节点支持更大并发数

显存占用缩小

以上为Angel加速方案相比开源方案的DeepSeekR1/V3推理性能提升

全面支持多种训练模式

l适配DeepSeek全系模型，覆盖精调、蒸馏、强化学习等训练模式

l支持故障自动迁移、CKPT自动续跑

l稳定支持单任务2～3个月长时间持续运行

专属

专属模型

全参/LoRA

全参/LoRASFT

强化学习

蒸馏

DeepSeek满血

DeepSeek满血版

DeepSeek蒸馏版模型

其他开源模型

模型训练

长上下文(64~128K)超大模型启动加速独享GPU算力集群私有API服务调用高并发、高可用企业级鉴权流控算力投入持续降低核心收益纳管资源组大模型

长上下文(64~128K)

超大模型启动加速

独享GPU算力集群

私有API服务调用

高并发、高可用

企业级鉴权流控

算力投入持续降低

核心收益

纳管资源组

大模型专属GPU算力包月独享

服务管理与运营

容器调度

按量计费算力池

算力调度

CPU及传统GPU算力按需按量

并行解码

模型量化

Sampling及batch优化

一体化服务管理工具及推理加速能力

一体化服务管理工具

指标监控鉴权/限流流量分配

实时掌握服务性能、调用量、资源消耗等关键指标自动调度符算力资源.弹性灵活应对业务峰谷

HPA扩缩容定时扩缩容组合扩缩容

提供多种扩缩容策略.满足不同场景的灵活资源需求

Angel推理加速

并行优化

DeepSeek全系列

R1、V3满血版

R1-Distill-Llama-70B

R1-Distill-Qwen-32B

R1-Distill-Qwen-14B

R1-Distill-Llama-8B

R1-Distill-Qwen-7B

R1-

R1-Distill-Qwen-1.5B

核心收益满血版模型一键精调?256卡H20?全参SFT?8小时蒸馏后模型多模式精调?全参+LoRA双模式

核心收益

满血版模型一键精调

?256卡H20

?全参SFT

?8小时

蒸馏后模型多模式精调

?全参+LoRA双模式

?低至1卡A10

注重灵活性、扩展性的生产级大模型精调工具链

R1、V3满血版

R1-Distill-Llama-70B

R1-Distill-Qwen-32B

R1-Distill-

您可能关注的文档

文档评论（0）

情报猿 + 关注: 实名认证

文档贡献者

该用户很懒，什么也没介绍

咨询Ta 进入空间

1亿VIP精品文档

更多 >

XX云大模型技术与教育智能体应用.docxVIP