第二章 k近邻算法.pptxVIP

使用 Scikit-learn中的 k最近邻算法进行分类;; 近邻算法几乎可以对任何数据集进行分类，但是，要计算数据集中每两个个体之间的距离，计算量很大。 例如，数据集中个体数量为10时，需要计算45对不同个体之间的距离。然而，当个体数量为1000时，要计算大约50万对个体之间的距离！;;Numpy是Python的一个科学计算的库，提供了矩阵运算的功能，其一般与Scipy、matplotlib一起使用。;#读取数据。 #我们用csv模块来导入数据集文件，并创建csv阅读器对象。 with open(data_filename, r) as input_file: reader = csv.reader(input_file); #注意这里必须让reader保持未关闭，否则enumerate()报错 for i, row in enumerate(reader): data = [float(datum) for datum in row[:-1]] X[i] = data y[i] = row[-1] == g; from sklearn.model_selection import train_test_split # 原使用的模块 sklearn.cross_validation 已经被sklearn.model_selection 代替 #首先，需要创建训练集和测试集。 X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=14) #X_train, X_test, y_train, y_test = train_test_split(X, y) #train_test_split该函数可以将数据集进行随机划分（根据随机数种子划分，对于同一数据集随机数种子一样，划分的结果一样），同时可以设置测试集占比例等，详细可参考官方文档。 #random_state是指随机数种子，如果种子相同，则结果相同。也可省略。 from sklearn.neighbors import KNeighborsClassifier #导入K近邻分类器这个类，并为其初始化一个实例，创建一个kNN分类器，默认近邻数为5 estimator = KNeighborsClassifier() # 使用训练集进行训练 estimator.fit(X_train, y_train); # 最后使用测试集进行测试算法 y_predicted = estimator.predict(X_test) accuracy = np.mean(y_test == y_predicted) * 100 print(The accuracy is {0:.1f}%.format(accuracy));;avg_scores = [] all_scores = [] parameter_values = list(range(1, 21)) for n_neighbors in parameter_values: estimator = KNeighborsClassifier(n_neighbors=n_neighbors) #多次对不同近邻数的模型进行交叉验证，并将结果保存起来 scores = cross_val_score(estimator, X, y, cv=3,scoring=accuracy) avg_scores.append(np.mean(scores)) all_scores.append(scores);为了直观表示，我们通过图表来表示