考核项目数据清洗及筛选综合实践.pdfVIP

考核目的：

本次考核将会基于一套“姓氏数据”（data1.csv,data2.csv）做分析处理，主要工作是对该数据进行数据

、整合，以及和另一套“行政代码对照表.csv”数据进行合并，并做一个姓氏榜分析。

具体要求：

1、创建数据库，加载数据，相关提示如下：

1）“data01.csv”后名字为data1；“data02.csv”后名字为data2；“行政代码对照表.csv”

后名字为cities；

2）data1和data2在加载的时候，由于“户籍城市地编号”字段存在非数字字符，所以需要先设置成text

类型再加载

3）“户籍地城市编号”字段的有效数据的字符长度均为6位，所以这里可以添加CHECK约束

参考结果如意数据量）：

2、数据整理及合并，相关提示如下：

1）data1和data2需要处理的错误数据：主要集中在“户籍地城市编号”字段，由于该字段都是由数字

组成的6位数，所以不满足条件的都是错误数据→提示，这里用SUBSTRING()来截取字符串中

间的字符

2）查看错误数据，并且删除错误数据

3）删除错误数据后，将data1和data2的“户籍地城市编号”字段类型改为int格式，这里注意，由于

这里没有隐式的转换，需要指定Using来转换，按照这样书写即可（注意在更改前，需要删除CHECK

约束）：

ALTERTABLEdata1ALTERCOLUMN户籍地城市编号TYPEintUSING(户籍地城市编号::int);

4）合并数据data1和data2为data

连接数据data和cities数据为result_data

5）

参考结果如意数据量）：

3、将数据按照“姓”做统计，找到姓氏数量最多的TOP20，相关提示如下：

1）注意计算占比这里，需要将分子（或分母）转换成浮点型

参考结果如下

提交成果：

将所有SQL代码到“答案文字框”内