《Python与人工智能应用技术》项目3 机器学习基础.pptxVIP

机器学习基础

教学目标和重难点知识目标1.熟悉最小二乘法的原理2.掌握常见几种激活函数3.了解常用损失函数的表达形式4.掌握梯度下降法的用法5.了解前向和反向传播算法的原理6.了解学习率的作用7.了解正则化的作用8.掌握欧氏距离和余弦相似度的公式职业技能目标1.能够读懂最小二乘法代码2.能够读懂常见激活函数的代码表达3.能够读懂余弦相似度公式的代码表达知识重点?最小二乘法的数学表达和使用激活函数的种类梯度下降法的作用距离的含义及应用知识难点反向传播的原理及推导

最小二乘法1激活函数2损失函数3梯度下降算法4前向传播和后向传播5学习率6正则化7欧氏距离和余弦相似度8CONTENTS

最小二乘法1激活函数2损失函数3梯度下降算法4前向传播和后向传播5学习率6正则化7欧氏距离和余弦相似度8CONTENTS

最小二乘法（theleastsquaremethod），又称最小平方法，是一种数学优化方法。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小

代码实现：

最小二乘法1激活函数2损失函数3梯度下降算法4前向传播和后向传播5学习率6正则化7欧氏距离和余弦相似度8CONTENTS

激活函数Sign激活函数Sigmoid激活函数tanh（双曲正切）激活函数ReLU(整流线性单元)激活函数

最小二乘法1激活函数2损失函数3梯度下降算法4前向传播和后向传播5学习率6正则化7欧氏距离和余弦相似度8CONTENTS

损失函数0-1损失函数(zero-oneloss)平方损失函数log对数损失函数交叉熵损失函数对比损失

最小二乘法1激活函数2损失函数3梯度下降算法4前向传播和后向传播5学习率6正则化7欧氏距离和余弦相似度8CONTENTS

梯度下降算法，又称最速下降法，它是一种求解无约束最优化问题的一种最常见的方法。梯度下降法是一种迭代算法，具有实现简单的优点。

最小二乘法1激活函数2损失函数3梯度下降算法4前向传播和后向传播5学习率6正则化7欧氏距离和余弦相似度8CONTENTS

前向传播

反向传播我们要运算的结果，就是为了更新各个权重和偏置量，利用偏导数表示为

最小二乘法1激活函数2损失函数3梯度下降算法4前向传播和后向传播5学习率6正则化7欧氏距离和余弦相似度8CONTENTS

注意，这里的学习率不是网络学出来的，而是操作者自行设定的值，这一点需要说明。

最小二乘法1激活函数2损失函数3梯度下降算法4前向传播和后向传播5学习率6正则化7欧氏距离和余弦相似度8CONTENTS

正则化：它可以帮助我们减少过拟合的问题，以便获得较好的模型，提升了模型的泛化能力。网络的过拟合问题往往是由训练网络的复杂性导致，使得在训练集上的训练结果非常好，但是测试集上的效果却不如人意。L1正则化L2正则化增加正则项

最小二乘法1激活函数2损失函数3梯度下降算法4前向传播和后向传播5学习率6正则化7欧氏距离和余弦相似度8CONTENTS

欧氏距离余弦相似度基于角度间隔的方法实现代码