第三章 流水线.pptxVIP

流水线在预处理中的应用不同特征的取值范围千差万别，常见的解决方法是对不同的特征进行规范化，使它们的特征值落在相同的值域或从属于某几个确定的类别，比如小、中和大。理论前提预处理scikit-learn的预处理工具叫作转换器（Transformer），它接受原始数据集，返回转换后的数据集。选择最具区分度的特征、创建新特征等都属于预处理的范畴。我们可能需要切分数据集，对特征进行二值化处理，以特征或数据集中的个体为基础规范化数据，除此之外还可能需要其他各种操作。理论前提流水线流水线结构就是用来解决这些问题的（当然不限于这些）流水线把这些步骤保存到数据挖掘的工作流中。之后你就可以用它们读入数据，做各种必要的预处理，然后给出预测结果。import numpy as npimport csv import osfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.model_selection import cross_val_scoredataFolder=……#自己本地的data文件路径data_filename = os.path.join(dataFolder, Ionosphere,ionosphere.data);#添加文件路径X = np.zeros((351, 34), dtype=float)y = np.zeros((351,), dtype=bool)with open(data_filename, r) as input_file: reader = csv.reader(input_file); #注意这里必须让reader保持未关闭，否则enumerate()报错 for i, row in enumerate(reader): data = [float(datum) for datum in row[:-1]] X[i] = data y[i] = row[-1] == g事前准备本次实验是承接上次实验后继续进行的。使用数据相同。为了讲解需要，先对数据进行破坏，并交叉检查两份数据的正确率实验过程#创建副本X——X_brokenX_broken = np.array(X)注意此时的数据是array，如果自己输入数据，注意要把list转换为array；并且注意精度，一般要设置为float，否则容易报错TypeError: No loop matching the specified signature and casting was found for ufunc true_divide#原PPT对副本的处理为每隔一行，就把第二个特征的值除以10。这样奇数行的第二个特征要比偶数行的大。此时语句应为下面这条#X_broken[::2,1] /= 10 #但实验ppt上的给出的语句（下面）实际上是对每行的奇数个除于2，偶数个保持不变X_broken[:,::2] /= 10实验过程estimator = KNeighborsClassifier()#交叉检验#原始数据original_scores = cross_val_score(estimator, X, y, scoring=accuracy,cv=3)print(The original average accuracy for is {0:.1f}%.format(np.mean(original_scores) * 100))#修改后的数据broken_scores = cross_val_score(estimator, X_broken, y,scoring=accuracy,cv=3)print(The broken average accuracy for is {0:.1f}%.format(np.mean(broken_scores) * 100)) 结果： The original average accuracy for is 82.3% The broken average accuracy for is 71.5% 简单总结下，异常值会影响近邻算法，不同算法对值域大小的敏感度不同。预处理实验过程这个类可以把每个特征的值域规范化为0到1之间。最小值用0代替，最大值用1代替，其余值介于两者之间。#预处理from sklearn.preprocessing import MinMaxScaler我们在预处理器MinMaxScaler上调用转换函数。有些转换器要求像训练分类器那样先进行训练， 但是MinMaxScaler 不需要， 直接调用fit_transform()函数，即可完成训练和转换。#如果我们对X数据进行预处理，则是下面这条语句#X_transformed