R语言数据分析与挖掘-数据预处理.pptxVIP

数据抽样 01 1 数据清洗 数据变换 数据哑变量处理 数据抽样 2 01 PAGE 3 数据抽样的必要性 “抽样”对于数据分析和挖掘来说是一种常见的前期数据处理技术。对于小概率事件、稀有事件的类失衡情况，即在数据中可能会存在某个或某些类别下的样本数远大于另一些类别下的样本数目。如果不对数据进行处理就建模，此时建立的分类器会倾向于预测数量较多的一类，显然该分类器是无效的，并且这种无效是由于训练集中类别不均衡而导致的。 克服类失衡问题常用的技术有以下两种： 偏置学习过程的方法，它应用特定的对少数类更敏感的评价指标。 用抽样方法来操作训练数据，从而改变类的分布。 有多种抽样方法用于改变数据集中的类失衡，常用的有以下两种： 欠采样法，它从多数类中选择小部分案例，并把它们和少数类样本一起组成一个相对平衡的数据集。 过采样法，它采用另外的工作模式，使用某些进程来复制少数类样本。 3 PAGE 4 类失衡处理方法：SMOTE 有一种系统构造人工数据样本的方法SMOTE（Synthetic Minority Over-sampling Technique）。在R语言中，DMwR扩展包中的SMOTE()函数可以实现SMOTE方法。该函数可以实现过采样或欠采样的SMOTE方法。该函数常用参数有三个： perc.over：过采样时，生成少数类的新样本个数;； k：过采样中使用K近邻算法生成少数类样本时的K值，默认是5； perc.under：欠采样时，对应每个生成的少数类样本，选择原始数据多数类样本的个数。 例如，当perc.over=500表示对原始数据集中的每个少数样本，都将生成5个新的少数样本；perc.under=80表示从原始数据集中选择的多数类的样本数据集中新生成少数样本的80%。 4 PAGE 5 数据随机抽样：sample()函数 sample()函数基本表达形式为：sample(x, size, replace = FALSE, prob = NULL) 其中x是数值型向量，size是抽样个数，replace表示是否有放回抽样，默认FALSE是无放回抽样，TURE是有放回抽样。 5 set.seed(1234) (x - seq(1,10)) [1] 1 2 3 4 5 6 7 8 9 10 (a - sample(x,8,replace=FALSE)) # 无放回抽样 [1] 10 6 5 4 1 8 2 7 (b - sample(x,8,replace=TRUE)) # 有放回抽样 [1] 7 6 10 6 4 8 4 4 # 当size大于x的长度 sample(x,15,replace = FALSE) Error in sample.int(length(x), size, replace, prob) : cannot take a sample larger than the population when replace = FALSE sample(x,15,replace = TRUE) [1] 5 8 4 8 3 4 10 5 2 8 4 3 7 9 3 PAGE 6 数据等比抽样：createDataPartition函数 通过sample()函数虽然能实现对数据集按照某个变量的类别进行等比例抽样，但是当类别多的时候代码就比较繁琐。现在给大家介绍caret扩展包中的createDataPartition()函数，可以快速实现数据按照因子变量的类别进行快速等比例抽样。其函数基本表达形式为： createDataPartition(y, times = 1,p = 0.5,list = TRUE,groups = min(5, length(y))) 其中y是一个向量，times表示需要进行抽样的次数，p表示需要从数据中抽取的样本比例，list表示结果是否为列表形式，默认为TRUE，groups表示如果输出变量为数值型数据，则默认按分位数分组进行取样。 6 PAGE 7 用于交叉验证的样本抽样 caret扩展包中的createFolds()函数和createMultiFolds()函数。createFolds()函数的基本形式为： createFolds(y, k = 10, list = TRUE, returnTrain = FALSE) 其中y是我们要依据分类的变量；k指定k折交叉验证的样本，默认为10，每份的样本量为总量/k；list是否以列表或矩阵的形式存储随机抽取的索引号，默认为TRUE；returnTrain是否返回抽样的真实值，默认返回样本的索引值。 createMult