北邮郭军web有哪些信誉好的足球投注网站chapter7-2论述.pptVIP

Space-Time Deep Belief Networks 深度学习的应用—视频识别 深度学习的应用—视频识别 深度学习的应用—多模态学习 口型 语音 深度学习的应用—多模态学习 深度学习的应用—多模态学习 深度学习的应用—多模态学习 深度学习的应用—多模态学习 深度学习的应用—迁移学习 特征共享 深度学习的应用—迁移学习 深度学习的应用—迁移学习 大尺度数据集： 样本总数100M, 类别总数10K, 特征维度10K 深度学习的应用—大数据计算 模型的并行运算化 深度学习的应用—大数据计算 分布式深度学习模型 深度学习的应用—大数据计算 分布式深度学习模型 深度学习的应用—大数据计算 参数个数达到1.15 billion，若不能并行优化参数，任务无法完成！ 深度学习的应用—大数据计算 深度学习的应用—多媒体检索 深度学习的应用—多媒体检索 深度学习的应用—多媒体检索 深度学习的State-of-the-art性能 * A topic combined intelligent technology and information network. A very important issue concerned by almost everyone. * 深度学习训练过程 Encoder Decoder Input Image Class label e.g. Features Encoder Decoder Features Encoder Decoder 深度学习训练过程 wake-sleep算法 wake阶段：通过input和encoder产生每一层的抽象表示code，再通过decoder产生一个重建信息reconstruction，计算input和reconstruction的差，用梯度下降法修改decoder的权重 sleep阶段：通过code和decoder生成下层的状态，再利用encoder产生一个抽象景象。利用初始上层概念(code)和新建抽象景象的差，用梯度下降修改encoder的权重 深度学习训练过程 第二步：自顶向下的监督学习?????? 在第一步获得各层参数的基础上，在最顶层添加一个分类器（如SVM），而后通过带标签数据的监督学习，利用梯度下降法微调整个网络参数 深度学习的常用模型 自动编码器 受限波尔兹曼机 深度信念网络 卷积神经网络 AutoEncoder 给定无标签数据，用非监督学习获取特征 通过编码器产生特征，然后训练下一层，这样逐层训练 有监督微调 Encoder Decoder Input (Image/ Features) Output Features 非监督学习获取特征 在以往神经网络中，输入的样本是有标签的，即(input, target)，因而可根据当前输出和标签之间的差去调整参数 如果只有无标签数据，那么误差如何得到呢？ 非监督学习获取特征 在结构中加一个decoder，如果它的输出与input很像，那就有理由相信这个code是可用的 通过调整encoder和decoder的参数，使得重构误差最小，这时候就得到了input信号的第一个表示，即code 因为是无标签数据，所以误差的来源就是直接重构后与原输入相比获得 在隐层输出code时添加稀疏性约束 限制每次得到的表达code尽量稀疏 限制每次得到的表达code尽量稀疏 稀疏自动编码器 Filters Features Sparse Coding Input Patch 稀疏自动编码器 σ(Wx) Dz Input Patch x Sparse Features z Encoder filters W Sigmoid function σ(.) Decoder filters D L1 Sparsity Training 稀疏自动编码器 稀疏自动编码器(Sparse AutoEncoder) 稀疏自动编码器 降噪自动编码器(Denoising AutoEncoder) 对训练数据加入噪声，自动编码器需去除噪声而获得没有被噪声污染过输入 迫使编码器学习输入信号的更加鲁棒的表达，使其泛化能力更强 稀疏自动编码器 假设有二部图，一层为可视层(v)，一层为隐藏层(h)，同层节点之间无链接，若所有的节点都是随机二值变量，且全概率分布p(v,h)满足Boltzmann 分布，则称这个模型为Restricted Boltzmann Machine (RBM) 受限波尔兹曼机 RBM是一种深度学习模型 受限波尔兹曼机 定义联合组态（joint configuration）能量： 这样某个组态的联合概率分布可以通过Boltzmann 分布和这个组态的能量来确定： 受限波尔兹曼机 给定隐层h条件下可视层的概