机器学习报告.docxVIP

机器学习总结报告 刘皓冰 大部分人错误地以为机器学习是计算机像人一样去学习。事实上，计算机是死的，怎么可能像人类一样“学习”呢，机器学习依靠的是数学，更确切地说是靠统计。 如果我们让计算机工作，是给它一串指令，然后计算机会遵照这个指令一步步执行下去，有因有果，非常明确。但这种方式在机器学习中是行不通的。机器学习是不会接受你输入的指令的，它接受的是你输入的数据。也就是说，机器学习是一种让计算机利用数据而不是指令来进行各种工作的方法。这听起来非常不可思议，但结果上却是非常可行的。“统计”思想将在你学习“机器学习”相关理念时无时无刻不伴随，相关而不是因果的概念将是支撑机器学习能够工作的核心概念。 依据数据所做的判断跟机器学习的思想根本上是一致的。机器学习方法是计算机利用已有的数据(输入)，得出了某种模型，并利用此模型预测未来(输出)的一种方法。从数据中学得模型的过程称为“学习”（learning）或“训练”（training），这个过程通过执行某个学习算法来完成。训练过程中使用的数据成为“训练数据”（training data），其中每个样本称为一个“训练样本”（training sample），训练样本组成的集合称为“训练集“（training set）。学得模型对应了关于数据的某种潜在的规律，因此亦称”假设“（hypothesis）；这种潜在规律自身，则称为”真相“或”真实“（ground-truth），学习过程就是为了找出或逼近真相。模型有时也被称为”学习器“（learner），可看作学习算法在给定数据和参数空间上的实例化。 若欲预测的是离散值则此类学习任务被称为“分类”；若欲预测的是连续值则此类学习任务称为“回归”；对只涉及两个类别的“二分类”任务，通常称其中一个类为“正类”，另一个类为“反类”；涉及多个类别时，则称为“多分类”任务。 模型是否准确依赖与数据。如果我的数据越多，我的模型就越能够考虑到越多的情况，由此对于新情况的预测效果可能就越好。这是机器学习界“数据为王”思想的一个体现。一般来说(不是绝对)，数据越多，最后机器学习生成的模型预测的效果越好。 机器学习里面有非常多的经典算法，每种算法都能形成一个模型。下面在简要介绍一下机器学习中的经典代表方法。重点介绍的是这些方法内涵的思想。 1、回归算法 在大部分机器学习课程中，回归算法都是介绍的第一个算法。原因有两个：一.回归算法比较简单，介绍它可以让人平滑地从统计学迁移到机器学习中。二.回归算法是后面若干强大算法的基石，如果不理解回归算法，无法学习那些强大的算法。回归算法有两个重要的子类：即线性回归和逻辑回归。 线性回归一般使用“最小二乘法”来求解。“最小二乘法”的思想是这样的，假设我们拟合出的直线代表数据的真实值，而观测到的数据代表拥有误差的值。为了尽可能减小误差的影响，需要求解一条直线使所有误差的平方和最小。最小二乘法将最优问题转化为求函数极值问题。函数极值在数学上我们一般会采用求导数为0的方法。但这种做法并不适合计算机，可能求解不出来，也可能计算量太大。计算机科学界专门有一个学科叫“数值计算”，专门用来提升计算机进行各类计算时的准确性和效率问题。例如，著名的“梯度下降”以及“牛顿法”就是数值计算中的经典算法，也非常适合来处理求解函数极值的问题。梯度下降法是解决回归模型中最简单且有效的方法之一。 逻辑回归是一种与线性回归非常类似的算法，但是，从本质上讲，线型回归处理的问题类型与逻辑回归不一致。线性回归处理的是数值问题，也就是最后预测出的结果是数字，例如预测一所房子大约可以买多少钱。而逻辑回归属于分类算法，也就是说，逻辑回归预测结果是离散的分类，例如判断肿瘤是恶性还是良性等等。实现方面的话，逻辑回归只是对对线性回归的计算结果加上了一个Sigmoid函数，将数值结果转化为了0到1之间的概率(Sigmoid函数的图像一般来说并不直观，你只需要理解对数值越大，函数越逼近1，数值越小，函数越逼近0)，接着我们根据这个概率可以做预测，例如概率大于0.5，肿瘤就是恶性的等等。 2、神经网络 神经网络(也称之为人工神经网络，ANN)算法是80年代机器学习界非常流行的算法，不过在90年代中途衰落。现在，携着“深度学习”之势，神经网络重装归来，重新成为最强大的机器学习算法之一。 神经网络的诞生起源于对大脑工作机理的研究。早期生物界学者们使用神经网络来模拟大脑。机器学习的学者们使用神经网络进行机器学习的实验，发现在视觉与语音的识别上效果都相当好。在BP算法(加速神经网络训练过程的数值算法)诞生以后，神经网络的发展进入了一个热潮。 下图是一个简单的神经网络的逻辑架构。在这个网络中，分成输入层，隐藏层，和输出层。输入层负责接收信号，隐藏层负责对数据的分解与处理，最后的结果被整合到输出层。每层中