机器学习 课件 第2章 数据预处理.pptx

第2章数据预处理

课程学习内容2.1数据预处理的概念2.2基于Python的数据预处理2.3基于Spark的数据预处理

2.1数据预处理的概念 典型的机器学习流程包括：数据获取、数据预处理、模型训练、模型测试和模型应用五个环节。 数据获取，就是从生产环境或互联网上得到数据并加载。数据预处理，就是对数据进行清洗和转换，使其符合后续的模型训练和模型测试的要求。

2.1数据预处理的概念2.1.1数据清洗 数据清洗，就是将数据中缺失、不完整或有缺陷的数据进行处理，输出正确完整的数据集。数据清洗的情况主要有以下几种： 1.数据过滤：从完整的数据集中筛选出满足条件的子集。 2.重复值处理：重复值就是所有字段都一样的记录，要进行数据去重，仅保留唯一的一条记录。 3.缺失值处理：处理数据集中值为空值的单元格。 4.异常值处理：数据中可能存在噪声，可以用异常检测手段的方法删除异常值。

2.1数据预处理的概念

2.1数据预处理的概念

2.1数据预处理的概念

2.1数据预处理的概念2.1.2数据转换 把清洗好的数据转换成能够输入到算法模型的格式类型。主要情况有以下几种： 1.将文字类型数据编码为数字。 2.从文本中提取有用的信息。 3.将数值类型数据转换为类别数据。 4.数值特征进行转换。 5.对数据进行归一化和标准化。 6.特征工程。对现有变量进行组合变换以生成新的特征。

2.1数据预处理的概念

2.1数据预处理的概念

2.2基于Python的数据预处理 在Python中常常用Numpy和Pandas来实现数据预处理。Numpy是一种强大的矩阵处理工具，而Pandas提供了很多表格操作函数，这二者结合能够快速地完成数据读取、清洗和转换。

2.2基于Python的数据预处理（1）读取数据，查看统计信息，并做简单可视化。

2.2基于Python的数据预处理（2）数据去重。先进行重复性检查，如果出现重复值就去除。（3）处理缺失值。如果某一行的缺失项大于50%，就删除这一行。删除以后，对于个别的空值进行填充。

2.2基于Python的数据预处理 分别打印前10行进行观察，确定last_evaluation用平均值填充，Work_accident用中位数填充。代码如下：（4）数据集中有两列sales和salary不是数据而是文字，需要把它们转换为数值型。采用oneHotKey编码，把数据转换为0和1的向量组合。

2.2基于Python的数据预处理（5）数据标准化。观察到number_project、average_monthly_hours和time_spend_company这3个字段，取值范围相差较大，为了避免取值范围造成的影响。进行标准化处理，另外也可以进行归一化。

2.3基于Spark的数据预处理2.3基于Spark的数据预处理 Spark对数据的预处理，主要通过SparkSQL和SparkML来实现。用SparkSQL读取文件，形成DataFrame并进行数据清洗，借助ML进行标准化和oneHotKey编码处理。

2.3基于Spark的数据预处理

2.3基于Spark的数据预处理

2.3基于Spark的数据预处理

2.3基于Spark的数据预处理

2.3基于Spark的数据预处理

2.3基于Spark的数据预处理

谢谢观看