人工智能导论课件人工智能导论——神经网络_880027602章节幻灯片.pptVIP

Wji只能通过netj影响到网络的输出 * 人工神经网络 人工神经网络（Artificial Neural Networks，ANN） 基本神经元 σ(net) ∑ b … x1 x2 xn w1 w2 wn o net … x1 x2 xn w1 w2 wn o x0=1 w0=-b ∑ σ(net) net σ函数 1 -1 1 1 -1 多层网络 … … … … … x1 w x2 xn w o1 o2 om 输入层 输出层 隐层 x0 神经网络的学习（训练） 对于给定的一组训练集D，寻找到一组合适的权重 ，使得神经网络的输出，与对应输入希望的输出尽可能的一致。 输入、输出均以向量形式表示 反向传播算法（BP） 定义误差函数 其中： D：训练样例的集合 outputs：输出单元的集合 tkd：样例d在第k个输出单元的标注输出值 okd：样例d在第k个输出单元的实际输出值 反向传播算法（BP） 梯度下降方法求解 收敛缓慢 容易陷入局部极值点 随机梯度下降 每次处理一个样本 虽然并不能保证收敛到全局最优，但一般能得到一个不错的结果 反向传播算法（BP） 随机梯度下降法 定义训练样本d的误差Ed： 对每一个样本，更新一次权重，反复迭代 反向传播算法（BP） 符号： 反向传播算法（BP） 分输出层和隐含层两种情况计算 情况1：单元j是输出层 第一项： 情况1：单元j是输出层 第二项： 情况1：单元j是输出层 综合上述两项： 情况2：单元j是隐含层 情况2：单元j是隐含层 情况2：单元j是隐含层 注意：上式与单元j是输出层的形式是一样的，只是 计算不同 BP算法（随机梯度下降版） 初始化所有权值为小的随机值(如[-0.05,0.05]) 在满足结束条件前： 对于每个训练样例 把样例输入网络，计算每个单元u的输出ou 对于输出层单元k，计算误差项： 对于隐含层单元h，计算误差项： 更新每个权值： 其中 卷积神经网络(CNN) 局部链接 权值共享 从局部到全局 循环神经网络 循环神经网络(recurrent neural network ) 递归神经网络 递归神经网络(recursive neural network) 结构上的递归，展示为树的形式 词嵌入(word embedding) 以向量形式表示一个词，也称作词向量 word2vec 隐层表示 输入 输出 隐层表示 输入值 隐层值 输出值→ .89 .04 .08 →01000000 → .15 .99 .99 →00100000 → .01 .97 .27 →00010000 → .99 .97 .71 →00001000 → .03 .05 .02 →00000100 → .01 .11 .88 →00000010 → .80 .01 .98 →00000001 → .60 .94 .01 →1 0 0 0 1 1 0 1 0 1 1 1 0 0 0 0 0 1 1 0 1 1 1 0 深度学习示例 数字识别 图象识别 基于卷积神经网络的点击模型 * 双曲正切 * * 双曲正切 * Wji只能通过netj影响到网络的输出 *