朴素贝叶斯分类算法.PPTVIP

K-最近邻算法的基本思想是：对于未知类标号的样本，按照欧几里得距离找出它在训练集中的k个最近邻，将未知样本赋予k最近邻中出现次数最多的类别号。K-最近邻分类算法的基本描述令D为训练集，Z为测试集，K为最近邻数目，其中每个样本可以表示为(x,y)的形式，即，其中表示样本的n个属性，y表示样本的类标号，则KNN分类算法的基本描述如下算法名：KNN输入：最近邻数目K，训练集D，测试集Z输出：对测试集Z中所有测试样本预测其类标号值(1)for每个测试样本do(2)计算z和每个训练样本之间的距离(3)选择离z最近的k最近邻集合(4)返回中样本的多数类的类标号(5)endforK-最近邻分类算法的基本描述(续)kNN算法根据得到的最近邻列表中样本的多数类进行分类，实现方法是通过投票进行多数表决得到最终类标号，其中：其中为类标号的所有可能取值，是测试样本z的一个最近邻类标号，是指示函数，如果其参数为真，则返回1，否则返回0。kNN算法演示对weather数据集，利用KNN算法，测试样本X=(rain,hot,normal,weak，?)的类标号属性，其中k取3。Step1:首先计算样本X到14个记录的距离(取定义4-3的曼哈顿距离)分别为：Distance(X,p1)=2,Distance(X,p2)=3，Distance(X,p3)=2，Distance(X,p4)=2，Distance(X,p5)=1，Distance(X,p6)=2，Distance(X,p7)=3，Distance(X,p8)=3，Distance(X,p9)=2，Distance(X,p10)=1，Distance(X,p11)=3，Distance(X,p12)=1，Distance(X,p13)=1，Distance(X,p14)=3；Step2:取离样本X最近的三个近邻p5,p10,p13Step3:因为三个最近邻对应的类标号都为yes,因此样本X的类标号被预测为yes。kNN算法演示(续)KNN算法优缺点优点：算法思想简单，易于实现。缺点：最近邻分类对每个属性指定相同的权重。而数据集中的不同属性可能需要赋予不同的权值；由于K-NN存放所有的训练样本，直到有新的样本需要分类时才建立分类，因此当训练样本数量很大时，该学习算法的时间复杂度为n2。3.5神经网络分类方法神经网络(NeuralNetwork)是模拟人脑思维方式的数学模型，它是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为。神经网络反映了人脑功能的基本特征，如并行信息处理、学习、联想、模式分类、记忆等。典型神经网络模型神经网络模型性能主要由以下因素决定：(1)神经元(信息处理单元)的特性；(2)神经元之间相互连接的形式—拓扑结构；(3)为适应环境而改善性能的学习规则。目前神经网络模型的种类相当丰富，已有40余种神经网络模型。典型的有感知器模型、多层前向传播网络、BP模型、Hopfield网络、ART网络、SOM自组织网络、学习矢量量化(LVQ)网络、Blotzman机网络等。感知器模型感知器神经网络是一个具有单层计算神经元的神经网络，网络的传递函数是线性阈值单元。原始的感知器神经网络只有一个神经元，因此只能输出两个值，适合简单的模式分类问题。感知器模型图如下：单层感知器可将外部输入分为两类。当感知器的输出为+1时，输入属于L1类，当感知器的输出为-1时，输入属于L2类，从而实现两类目标的识别。感知器模型(续)在多维空间，单层感知器进行模式识别的判决超平面由下式决定：对于只有两个输入的判别边界是直线,选择合适的学习算法可训练出满意的w1和w2，当它用于两类模式的分类时，相当于在高维样本空间中，用一个超平面将两类样本分开，即：w1x1+w2x2+b=0BP模型BP模型也称反向传播模型，是一种用于前向多层的反向传播学习算法。学习方法：可以对组成前向多层网络的各人工神经元之间的连接权值进行不断的修改，从而使该前向多层网络能够将输入信息变换成所期望的输出信息。反向学习算法：在修改各人工神经元的连接权值时，所依据的是该网络的实际输出与其期望输出之差，将这一差值反向一层一层地向回传播，来决定连接权值的修改。BP网络如图：BP模型的基本描述1)选择一组训练样例