Symbol声明式的符号表达式NDArray.pptVIP

MXNet介绍 金海辰 S什么是MXNet MXNet是一个开源的深度学习框架。它可以使你能自行定义、训练、配置和部署深度人工神经网络，并且适用于从云端到移动端诸多不同的设备上。可快速模型训练、灵活支持各种编程模型和语言使得MXNet具有高度的可扩展性。 什么是MXNet 同时，它还允许混合使用命令式与符号式编程以最大化程序的效率和性能。MXNet建立了在运行时可以自动并行命令式与符号式操作符的动态依赖调度机制，运行在其上的图优化层使得符号的执行快速且节省存储空间。MXNet库轻量便携，并且可以扩展为多GPU或多机器模式。 MXNet的优点 灵活的编程模型：支持命令式和符号式编程模型以最大化效率和性能。 从云端到客户端可移植：可运行于多CPU、多GPU、集群、服务器、工作站甚至移动智能手机。 多语言支持：支持七种主流编程语言，包括C++、Python、R、Scala、Julia、Matlab和JavaScript。 MXNet的优点 本地分布式训练：支持在多CPU/GPU设备上的分布式训练，使其可充分利用云计算的规模优势。 性能优化：使用一个优化的C++后端引擎并行I/O和计算，无论使用哪种语言都能达到最佳性能。 浅嵌入与深嵌入  浅嵌入，命令式编程 深嵌入，声明式编程 如何执行?a=b+1 需要b已经被赋值。立即执行加法，将结果保存在a中。 返回对应的计算图(computation graph)，我们可以之后对b进行赋值，然后再执行加法运算 优点 语义上容易理解，灵活，可以精确控制行为。通常可以无缝的和主语言交互，方便的利用主语言的各类算法，工具包，bug和性能调试器。 在真正开始计算的时候已经拿到了整个计算图，所以我们可以做一系列优化来提升性能。实现辅助函数也容易，例如对任何计算图都提供forward和backward函数，对计算图进行可视化，将图保存到硬盘和从硬盘读取。 缺点 实现统一的辅助函数困和提供整体优化都很困难。 很多主语言的特性都用不上。某些在主语言中实现简单，但在这里却经常麻烦，例如if-else语句 。debug也不容易，例如监视一个复杂的计算图中的某个节点的中间结果并不简单。 深度学习系统比较  主语言 从语言 硬件 分布式 命令式 声明式 Caffe C++ Python/Matlab CPU/GPU x x v Torch Lua - CPU/GPU/FPGA x v x Theano Python - CPU/GPU x x v TensorFlow C++ Python CPU/GPU/Mobile v x v MXNet C++ Python/R/Julia/Go CPU/GPU/Mobile v v v MXNet的系统架构 MXNet的系统架构 编程接口 Symbol： 声明式的符号表达式 NDArray：命令式的张量计算 KVStore：多设备间的数据交互 读入数据模块 训练模块 Symbol MXNet使用多值输出的符号表达式来声明计算图。符号是由操作子构建而来。一个操作子可以是一个简单的矩阵运算“+”，也可以是一个复杂的神经网络里面的层，例如卷积层。一个操作子可以有多个输入变量和多个输出变量，还可以有内部状态变量。一个变量既可以是自由的，我们可以之后对其赋值；也可以是某个操作子的输出。 Symbol 在执行一个符号表达式前，我们需要对所有的自由变量进行赋值。下例中，我们需要给定数据，和各个层里隐式定义的输入，例如全连接层的权重和偏值。我们同时要申明所需要的输出，例如softmax的输出。 NDArray MXNet提供命令式的张量计算来桥接主语言的和符号表达式。下面代码中，我们计算矩阵和常量的乘法，并使用numpy来打印结果。 KVStore MXNet提供一个分布式的key-value存储来进行数据交换。它主要有两个函数， push： 将key-value对从一个设备push进存储 pull：将某个key上的值从存储中pull出来此外，KVStore还接受自定义的更新函数来控制收到的值如何写入到存储中。最后KVStore提供数种包含最终一致性模型和顺序一致性模型在内的数据一致性模型。 KVStore 读入数据模块 数据读取在整体系统性能上占重要地位。MXNet提供工具能将任意大小的样本压缩打包成单个或者数个文件来加速顺序和随机读取。 通常数据存在本地磁盘或者远端的分布式文件系统上（例如HDFS或者Amazon S3)，每次我们只需要将当前需要的数据读进内存。MXNet提供迭代器可以按块读取不同格式的文件。迭代器使用多线程来解码数据，并使用多线程预读取来隐藏文件读取的开销。 训练模块 MXNet实现了常用的优化算法来训练模型。用户只需要提供数据数据迭代