基于深度学习芯片的分布式训练通用规范.pdfVIP

目  次 1 范围1 2 规范性引用文件1 3 术语和定义1 4 缩略语2 5 技术要求2 5.1 环境要求2 5.2 基本技术要求2 5.2.1 控制主机处理器架构2 5.2.2 支持主流机器学习框架3 5.2.3 支持数据类型3 5.2.4 虚拟化要求3 5.2.5 批次大小3 5.2.6 大模型训练支持3 5.2.7 自动混合精度支持3 5.3 分布式训练功能要求4 5.3.1 分布式互联要求4 5.3.2 分布式拓扑结构要求4 5.3.3 可扩展性要求4 5.3.4 集合通讯功能支持4 5.3.5 分布式训练框架支持6 5.4 集群管理功能要求6 5.4.1 调度功能6 5.4.2 监控告警功能6 5.4.3 日志功能6 5.4.4 可靠性及可维护性要求6 6 评测6 6.1 评测数据集7 6.1.1 计算机视觉7 6.1.2 自然语言处理7 6.1.3 多模态8 6.2 评测指标8 6.2.1 总带宽9 6.2.2 时延9 6.2.3 加速比 （线性度）9 6.2.4 训练周期/时间10 6.2.5 功耗10 6.2.6 训练能耗10 6.2.7 能效比10 6.2.8 吞吐量10 6.2.9 业务指标10 6.3 评测类型11 6.3.1 通用评测11 6.3.2 开放评测11 6.4 评测方法11 6.4.1 通用评测方法11 6.4.2 开放评测方法12 6.5 评测提交12 6.5.1 训练代码12 6.5.2 训练日志12 6.5.3 训练结果概览12 6.5.4 元数据13 附 录 A （规范性） 15 表A.1：基准模型及达标要求15 基于深度学习芯片的分布式训练通用规范 1 范围 本文件规定了深度学习芯片功能与质量的要求，适用于通用分布式训练。本标准只规定深度学习芯 片分布式训练的一般要求，针对具体深度学习芯片，产品应制定相应的各自细则。 本文件适用于第三方机构对通用深度学习芯片进行分布式训练的评估，也适用于深度学习芯片产品 的采购、设计。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其必威体育精装版版本 （包括所有的修改单）适用于本 文件。 GB/T 5271.31-2006 信息技术 词汇 第31部分：人工智能 机器学习 GB/T 5271.34-2006 信息技术 词汇 第34部分：人工智能 神经网络 T/CESA 1119—2020 人工智能芯片 面向云侧的深度学习芯片测试指标与测试方法 T/CESA 1026-2018 人工智能 深度学习算法评估规范 3 术语和定义 下列术语和定义适用于本文件。 3.1 机器学习 machine learning 功能单元通过获取新知识或技能或通过重组现有知识或技能来改善其性能的过程。 [来源：T/CESA1119—2020] 3.2 深度学习 deep learning 机器学习中一种基于对数据进行表征学习的方法，通过组合低层特征形成更加抽象的高层表示属性 类别或特征，以发现数据的分布式特征表示。 3.3 深度学习芯片 deep learning chip 一种基于深度学习技术、针对深度神经网络模型算法优化、对输入数据进行运算处理和加速的集成 电路元件。 3.4 训练 training 教会神经网络在输入值的样本和正确输出值之间做出结合的步骤。