【几种典型的传统机器学习分类方法分析概述1900字】.pdfVIP

几种典型的传统机器学习分类方法分析概述

目录

几种典型的传统机器学习分类方法分析概述1

1.1决策树(DecisionTree)1

1.2k-近邻算法1

1.3支持向量机2

自上个世纪五十年代开始，人工智能(ArtificialIntelligence)的这一思想开始出

现，而机器学习的出现是人工智能领域发展到成熟时期后的产物。到上世纪80年代

末，反向传播(BackPropagation)的出现给机器学习又带来了希望。机器学习(Machine

Learning)属于一门多领域的交叉学科，涵盖多种领域，能够通过数据或以往的经验

进行算法择、模型构建、新数据预测，并重新排列已知的知识结构去不断调整和改

善自身性能。

1.1决策树(DecisionTree)

决策树算法采用的是邻近离散函数值的方式。首先对输入数据预处理，采用归纳

算法生成有序可读的规则和决策树，最后对新数据利用决策进行分析计算。从本质上

讲决策树的方法是通过一系列规则对输入的数据进行分类。对使用本算法的人要求并

不高，只需在事前对数据做好标注，就能把一组无序的事物理成决策树所代表的规则。

图2-1表示的是一种树形结构的决策树，图中每一个决策树节点表示一个属性的测试,

一个叶节点视为一个类别，有多少个分支就有多少个测试输出。

图2-1决策树树形结构示意图

Fig.2-1Treestrctreofdecisiontree

1.2k•近邻算法

k-近邻算法(k-NearestNeighbor,KNN)是一种监督型学习算法，也是我们常用

1

的最简单的机器学习算法之一，常被研究者们用在分类和回归问题中。所谓k最近邻,

就是指k个最近的邻居的意思，每个样本都可以用它最接近的k个邻居来代表。它属

于基于实例的学习(Instance-basedLearning),也属于懒惰学习(LazyLearning),即

KNN不会显示学习过程，数据集事先已有分类和特征值，接收到新样本后直接进行

处理。

该算法的具体思路是：一个样本在特征空间中的有k个样本都靠近某个类别，其

中k占所有样本的比例最高，那该样本就归属于这个类别。KNN算法中，取的邻近

样本均是已正确分类的样本对象。该方法在确定类别时只依据最相近的一个或者几个

的类别来判定。KNN算法中最重要的方面是k值的取和距离的取。

1.K值得取十分重要，若K取的过小，一旦样本存在噪声成分，预测结果在

很大程度上会偏离实际值，如果K值取过大，就相当于采取更大地邻域对训练样本

进行预测，学习的近似误差会差很多。在进行k值取时，我们常采用交叉验证的方

法去挑一个相对小的数值。K的取值尽量要取奇数，以保证在计算结果最后会产生

一个较多的类别，若取偶数则可能会产生相等的情况，不利于预测。

1.KNN算法中距离度量的方法与样本的向量表示方法有关联，最常采用的距离度

量方法有曼哈顿距离和欧式距离等。

曼哈顿距昌d(x,y)=—yj

Yz=o

欧式距昌y)=—yz)2

Vi=0

KNN算法作为一种惰性学习算法，使用简单，便于理解，无需建模与训练就可

以实现，适合应用于稀有事件。在样本分类时，内存消耗较大，测试样本分类时计算

量也大，性能低，可解释性差，与决策树相比无法给出相应的规则。

13支持向量机

支持向量机(SpportVectorMachine,SVM)是一种建立在学习理论上的分类算法,

通过寻找最小结构化风险去加大学习机的泛化能力，尽力缩小经验风险和置信范围，