FAFU机器学习 07-1NNndayes中文.pptxVIP

机器学习基础kNN和Bayes 主要分类方法逻辑回归线性判别分析决策树归纳最近的邻居贝叶斯分类方法反向传播分类支持向量机集合方法… 最近邻分类器 最近邻分类器需要三件事存储记录的集合用于计算记录之间距离的距离度量k的值，即要检索的最近邻数对未知记录进行分类:计算到其他培训记录的距离确定k个最近邻使用最近邻的类标签来确定未知记录的类标签（例如，通过采取多数票） 最近邻的定义 1个最近邻Voronoi，Dirichlet，。n，；。 最近邻分类器计算两点之间的距离:欧几里得距离从最近邻列表中确定类取K个最近邻中类标签的多数票根据距离给选票加权权重因子，w=1/D2 最近邻分类器计算两点之间的距离:欧几里得距离闵可夫斯基距离曼哈顿标称属性的距离二进制属性的距离序数变量距离混合类型的距离 最近邻分类器类sklearn.neighbors.distancemetric这个类为快速距离度量函数提供了统一的接口。可以通过get_metric类方法和度量字符串标识符访问各种度量从sklearn.neighbors导入DistanceMetricdist=distanceMetric.get_metric（“euclidean”）X=[[0，1，2]，[3，4，5]]Dist.pairwise(X)数组([[0，5，[50.]]) 最近邻分类器类sklearn.neighbors.distancemetric用于实值向量空间的度量: 最近邻分类器选择K:的值如果k太小，对噪声点敏感如果k太大，则邻域可能包括来自其他类的点 最近邻分类器缩放问题可能必须对属性进行缩放，以防止距离度量被其中一个属性所支配例:一个人的身高可由1.5米至1.8米不等一个人的体重可以从90磅到300磅不等一个人的收入可能从1万美元到100万美元不等 最近邻分类器k-NN分类器是懒学习者（，）它不显式地构建模型不同于急切的学习者（）如决策树归纳对未知记录进行分类比较昂贵 sklearn.neighborssklearn.neighbors?提供无监督和基于监督邻居的学习方法的功能。无监督最近邻居是许多其他学习方法的基础，特别是流形学习（Stand Stand）和谱聚类（Posiple）。基于监督邻域的学习有两种类型：对具有离散标签的数据进行分类，对具有连续标签的数据进行回归。 NearestNeighbors? 近邻实现了无监督的最近邻学习。它充当三种不同的最近邻算法的统一接口：BallTree、KDTree和基于中例程的暴力算法sklearn.metrics.pairwise. 邻域有哪些信誉好的足球投注网站算法的选择通过关键字“algorithm”来控制，该关键字必须是[auto、ball\utree、kd_tree、brute]之一。当传递默认值“auto”时，算法尝试从训练数据中确定最佳方法。 ?Finding the Nearest Neighbors from sklearn.neighbors import NearestNeighbors import numpy as np X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]]) nbrs = NearestNeighbors(n_neighbors=2, algorithm=ball_tree).fit(X) distances, indices = nbrs.kneighbors(X) indices array([[0, 1], [1, 0], [2, 1], [3, 4], [4, 3], [5, 4]]...) distances array([[ 0. , 1. ], [ 0. , 1. ], [ 0. , 1, [ 0. , 1. ], [ 0. , 1. ], [ 0. , 1]) ?Nearest Neighbors Classificationscikit-learn implements two different nearest neighbors classifiers:KNeighborsClassifier基于每个查询点的k个最近邻来实现学习，其中k是用户指定的整数值RadiusNei