Hadoop大数据技术与项目实战 实训指导书及代码资源 5.2 Sqoop数据迁移实训指导书.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

Sqoop数据迁移实训指导书

一、任务描述

使用Sqoop数据迁移工具，将HDFS上的数据导入到MySQL数据库中。

二、能力目标

能根据Sqoop命令完成数据迁移

三、任务实施

1.对活跃用户数据表执行数据迁移

[bigdata@node1~]$sqoopexport\

--connectjdbc:mysql://node1:3306/uzest?useSSL=false\

--usernameroot--password123456\

--tableads_uv_count\

--num-mappers1\

--export-dir/project/offlineDataWarehouse/uzest.db/ads/ads_uv_count\

--input-fields-terminated-by\t

在MySQL中查看活跃用户数据是否导入成功

mysqlselect*fromads_uv_count;

++++++

+

|dt|day_count|wk_count|mn_count|is_weekend|is_mothend|

++++++

+

|2021-04-30|508|974|1000|N|Y|

++++++

+

1rowinset(0.02sec)

2.对每日新增用户数据表执行数据迁移

[bigdata@node1~]$sqoopexport\

1

山西职业技术学院《Hadoop大数据技术与项目实战》

--connectjdbc:mysql://node1:3306/uzest?useSSL=false\

--usernameroot--password123456\

--tableads_new_mid_count\

--num-mappers1\

--export-dir/project/offlineDataWarehouse/uzest.db/ads/ads_new_mid_count\

--input-fields-terminated-by\t

在MySQL中查看每日新增用户数据是否导入成功

mysqlselect*fromads_new_mid_count;

+++

|create_date|new_mid_count|

+++

|2021-04-01|464|

+++

1rowsinset(0.03sec)

3.对沉默用户数据表执行数据迁移

[bigdata@node1~]$sqoopexport\

--connectjdbc:mysql://node1:3306/uzest?useSSL=false\

--usernameroot--password123456\

--tableads_silent_count\

--num-mappers1\

--export-dir/project/offlineDataWarehouse/uzest.db/ads/ads_silent_count\

--input-fields-terminated-by\t

在MySQL中查看沉默用户数据是否导入成功

mysqlselect*fromads_silent_count;

+++

|dt|silent_count|

+++

|2021-04-30|3|

+++

1rowsinset(0.01sec)

2

山西职业技术学院《Hadoop大数据技术与项目实战