Python版数据挖掘实验3报告.docVIP

华 南 农 业 大 学 综 合 实 验 报 告 学生姓名：洪毓阳 学 号：201512010107 实验持续时间： 一、实验名称：流水线(PIPELINES)在预处理中的应用 实验目的： 学习流水线(PIPELINES)在预处理中的应用 2、实验内容： 使用转换器对数据进行预处理，使用流水线对数据进行复合处理 3、实验环境（设备、软件、实验数据）： 设备：笔记本电脑 软件：Python idle 实验数据：ionosphere.data 实验步骤： 数据准备 import numpy as np import csv import os from sklearn.neighbors import KNeighborsClassifier from sklearn.model_selection import cross_val_score dataFolder=’G:\Python36\ionosphere.data’#自己本地的data文件路径 data_filename = os.path.join(dataFolder, Ionosphere,ionosphere.data);#添加文件路径 X = np.zeros((351, 34), dtype=float) y = np.zeros((351,), dtype=bool) with open(data_filename, r) as input_file: reader = csv.reader(input_file); #注意这里必须让reader保持未关闭，否则enumerate()报错 for i, row in enumerate(reader): data = [float(datum) for datum in row[:-1]] X[i] = data y[i] = row[-1] == g 对数据进行破坏，并交叉检查两份数据的正确率 #创建副本X——X_broken X_broken = np.array(X) #原PPT对副本的处理为每隔一行，就把第二个特征的值除以10。这样奇数行的第二个特征要比偶数行的大。此时语句应为下面这条 #X_broken[::2,1] /= 10 #但实验ppt上的给出的语句（下面）实际上是对每行的奇数个除于2，偶数个保持不变 X_broken[:,::2] /= 10 estimator = KNeighborsClassifier() #交叉检验 #原始数据 original_scores = cross_val_score(estimator, X, y, scoring=accuracy,cv=3) print(The original average accuracy for is {0:.1f}%.format(np.mean(original_scores) * 100)) #修改后的数据 broken_scores = cross_val_score(estimator, X_broken, y,scoring=accuracy,cv=3) print(The broken average accuracy for is {0:.1f}%.format(np.mean(broken_scores) * 100)) 输出结果： 对数据进行预处理并进行交叉检验 from sklearn.preprocessing import MinMaxScaler #如果我们对X数据进行预处理，则是下面这条语句 #X_transformed = MinMaxScaler().fit_transform(X) #对副本预处理 # X_transformed与X行列数相等，为同型矩阵。然而，前者每列值的值域为0到1。 X_transformed = MinMaxScaler().fit_transform(X_broken) #对副本预处理 X_transformed = MinMaxScaler().fit_transform(X_broken) #交叉检验 estimator = KNeighborsClassifier() transformed_scores = cross_val_score(estimator, X_transformed, y,scoring=accuracy,cv=3) print(The average accuracy for is {0:.1f}%.format(np.mean(transformed_scores) * 100)) 使用交叉检验对流水线进行测试并输出结果 #