单变量线性回归课件.pptVIP

多变量线性回归 单变量线性回归 多变量线性回归 参考资料： 机器学习个人笔记完整版V4.0（斯坦福大学机器学习） 机器学习基础教程（英 Simon Rogers Mark Girolami 著，郭 茂祖译） 统计学习方法（李航著） 单变量线性回归（Linear Regression with One Variable） 模型表示 代价函数 梯度下降 多变量线性回归 监督学习--教计算机如何去完成任务 亦称监督训练、有教师学习。是利用已知类别的样本（即有标记的样本 labeled sample，已知其相应的类别），调整分类器的参数，训练得到一个最优模型，使其达到所要求性能，再利用这个训练后的模型，将所有的输入映射为相应的输出，对输出进行简单的判断，从而实现分类的目的，这样，即可以对未知数据进行分类。 用一句话概括就是：用一部分已知分类、有标记的样本来训练机器后，让它用学到的特征，对没有还分类、无标记的样本进行分类、贴标签。 给学习算法一个数据集，数据集由“正确答案”组成 无监督学习--让计算机自己进行学习 无监督学习：即非监督学习，是实现没有有标记的、已经分类好的样本，需要我们直接对输入数据集进行建模，例如聚类，最直接的例子就是我们常说的“人以群分，物以类聚”。我们只需要把相似度高的东西放在一起，对于新来的样本，计算相似度后，按照相似程度进行归类就好。至于那一类究竟是什么，我们并不关心。 监督学习和无监督学习的区别 ： 监督学习则只利用标记的样本集进行学习，而无监督学习只利用未标记的样本集。 监督学习主要是根据已有标记，进行分类，区分---回归问题，分类问题； 无监督学习主要是用相似度，进行聚类，归类； 单变量线性回归 模型表示 俄勒岗州波特兰市住房价格 回归问题：根据之前的数据预测一个准确的输出值 以房屋交易数据为基础，假定回归问题训练集： m：代表训练集中实例的数量 x：代表特征/输入变量 y:代表目标变量/输出变量 （x,y）：代表训练集中的实例 （x(i),y(i)）:代表第i个观察实例 h：代表学习算法的解决方案或函数也称为假设 房价预测中，输入变量x为房屋尺寸大小；输出变量y为对应房子的价格，h为一个函数，表示x到y的映射。 要解决房价预测问题，是将训练集数据进行学习得到一个假设h，然后将预测的房屋的尺寸x作为输入变量输入给h，预测出该房屋的交易价格y作为输出变量输出结果。 单变量线性回归问题 单变量线性回归 一种可能的表达式为： 表示式只含有一个特征/输入变量 单变量线性回归 代价函数（平方误差函数，平方误差代价函数） 训练集 核心：确定 模型选择合适的参数，在房价问题便是直接的斜率和y轴上的截距。 定义代价函数，有助于我们弄清楚如何把最有可能的直线与数据相拟合。 线性函数形式： 单变量线性回归 代价函数 建模误差：选择的参数决定了得到的直线相对于训练集的准确程度模型所预测的值与训练集中实际值之间的差距。 目标：是选择出可以使得建模误差的平方和能够最小的模型参数，即使得代价函数最小。 单变量线性回归 代价函数 以 为坐标绘制一个等高线 可以看出在三维空间中存在一个使得 最小的点。 代价函数也被称为平方误差函数，有时也被称为平方误差代价函数，之所以要求出误差的平方，是因为误差平方代价函数，对于大多数问题，特比是回归问题，都是一个合理的选择。还有其他的代价函数也能很好地发挥作用，但是平方误差函数可能是解决回归问题最常用的手段了。 单变量线性回归 代价函数 函数： 参数： 代价函数： 目标： 单变量线性回归 梯度下降 梯度下降是一个用来求函数最小值的算法，使用梯度下降算法来求出代价函数的最小值。 梯度下降背后的思想：开始，随机选择一个参数的组合 ，计算代价函数，然后寻找下一个能让代价函数下降最多的组合。持续直至到一个局部最小值。因为没有尝试完所有的参数组合，不能得到局部最小值是否是全局最小值，选择不同初始参数组合，可能会找到不同的局部最小值。 单变量线性回归 梯度下降 批量梯度下降算法的公式： repeat until convergence 其中 是学习率，决定沿着能让代价函数下降程度最大的方向向下迈出的步子有多大，在批量梯度下降中，我们每一次都同时让所有的参数减去学习率乘以代价函数的导数。 单变量线性回归 梯度下降 梯度下降算法的公式： 描述：对 赋值，使得 按梯度下降最快方向进行，一直迭代下去，最终得到局部最小值。 同步更新 单变量线性回归 梯度下降 太小，即学习速度太小，结果就只能像小宝宝一点点地挪动，去努力接近最低点，这样就需要很多步才能到达最低点，所以如果太小的话，可能会很慢，因为它会一点点挪动，它需要很多步才能到