BP算法推导.docVIP

BP算法的推导 符号定义 网络结构：输入层d个神经元，隐含层个神经元，输出层c个神经元，网络的权值。 输入训练样本，期望输出，网络实际输出，隐含层神经元输出，为神经元的净输出，有： 隐含层： ，，； (1) 输出层： ，，； (2) 误差平方和准则函数： (3) 权值调整公式： 分别计算输出层和隐含层权值的梯度。 输出层 应用链式求导法则计算输出层第k个神经元隐含层第j个神经元之间的连接权值梯度： (4) 再次应用链式求导法则： 根据(3)式，有： 根据(2)式，有： 因此： 根据(2)式，有： 代入到(4)式，有： ，其中 隐含层 应用链式求导法则，计算输入层第i个神经元到隐含层第j个神经元之间连接权值的梯度： (5) 根据(1)式，有： 再次应用链式法则： 代入(5)式，有： 其中： 权值梯度 输出层：，； 隐含层：， 对数Sigmoid激活函数的结果 激活函数为对数Sigmoid函数： 导数为： 因此： 输出层： 隐含层： 双曲Sigmoid激活函数的结果 激活函数为双曲Sigmoid函数： 导数为： 因此： 输出层： ； 隐含层： 。