《数据挖掘与机器学习》 课件2.2.5 分组聚合、处理农产品基本信息数据.pptxVIP

8南宁职业技术学院

NCVTNANNINGCOLLEGEFORVOCATIONALTECHNOLOGY

厨

数据挖掘与机器学习

DATAMININGA°NDMACHINELEARNING

处理农产品基本信息数据

农产品信息可视化分析

——NumPy、pandas与Matplotlib库

水稻是全球最重要的粮食作物之一，水稻审定数据可以为农业科技创新提供重要的参考

和依据，可以帮助选择高产、优质、抗逆性强的水稻品种，促进绿色、可持续的农业生产方式，有助于推动农业的可持续发展。

本任务先了解水稻信息数据的情况，根据数据检测的内容可知数据存在缺失值、重复值、异常值的情况，并对数据中的缺失值、重复值、异常值进行处理，增强后续数据分析的效果。

对数据进行仔细的处理和清洗，确保数据的质量可靠，为后续的数据分析和决策提供更

可信的基础，也展现了劳动精神的价值和应用。

处理农产品基本信息数据

任务描述

任务要求

处理农产品基本信息数据

读取农产品基本信息数据。

检测数据缺失值的情况，并进行缺失值处理。

检测数据异常值的情况，并进行异常值处理。

检测数据重复值的情况，并进行重复值处理。

Part1相关知识

·数据读取与写入·pandas数据结构·pandas数据处理

处理农产品基本信息数据

数据清洗

数据合并

分组聚合

pandas数据处理

pandas数据处理

依据某个或某几个特征对数据集进行分组，并对各组应用一个函数，无论是聚合还是转换，都

是数据分析的常用操作。

A

0

B

5

C

10

A

5

B

10

C

15

A

10

B

15

C

20

A

AA

B

B

B

CCC

0

5

10

5

10

15

10

15

20

分组聚合

15

30

45

A

BC

pandas提供了一个灵活高效的groupby)方法，配合agg)方法能够实现分组聚合的操作。

groupby()方法提供的是分组聚合步骤中的拆分功能，能够根据索引或特征对数据进行分组，其基本使用格式如下。

DataFrame.groupby(by=None,axis=0,,level=None,as_index=True,sort=True,

group_keys=True,squeeze=no_default,observed=False,dropna=True)

处理农产品基本信息数据

分组聚合

参数名称

参数说明

by

接收list、str、mapping、function或generator。表示用于确定进行分组的依据，

若传入的是一个函数，则对索引进行计算并分组；若传入的是一个字典或

Series,则字典或Series的值用于作为分组依据；若传入一个NumPy数组，则数据的元素作为分组依据；若传入的是字符串或字符串列表，则使用这些字符串所代表的特征作为分组依据。默认为None

axis

接收0或1。表示操作的轴向。默认为0

处理农产品基本信息数据

groupby()方法常用参数及其说明如下。

分组聚合

参数名称

参数说明

level

接收int或索引名。表示标签所在级别。默认为None

as_index

接收bool。表示聚合后的聚合标签是否以DataFrame索引形式输出。默认为

True

sort接收bool。表示是否对分组依据、分组标签进行排序。默认为True

group_keys

接收bool。表示是否显示分组标签的名称。默认为True

处理农产品基本信息数据

groupby(方法常用参数及其说明如下。

分组聚合

分组聚合

分组后的结果并不能直接查看，而是被存在内存中，输出的是内存地址。

实际上，分组后的数据对象GroupBy类似于Series与DataFrame,是pandas提供的一种对象。

GroupBy对象常用的描述性统计方法及说明如右表所示。

方法名称

方法说明

count

返回各组的计数值，不包括缺失值

head

返回每组的前n个值

max

返回每组最大值

mean

返回每组的均值

median

返回每组的中位数

处理农产品基本信息数据

分组聚合

分组后的结果并不能直接查看，而是被存在内存中，输出的是内存地址。

实际上，分组后的数据对象GroupBy类似于Series与DataFrame,是pandas提供的一种对象。

GroupBy对象常用的描述性统计方法