sqoop使用文档探讨.docxVIP

简介Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop已在CDH集群中配置完成。集群中使用的是sqoop2.关于sqoop1和sqoop2的区别如下：Sqoop2和sqoop1的区别Sqoop1架构图：Sqoop2架构图：使用#指定列$ sqoop import --connect jdbc:mysql:///corp --table EMPLOYEES --columns employee_id,first_name,last_name,job_title#使用8个线程$ sqoop import --connect jdbc:mysql:///corp --table EMPLOYEES -m 8#快速模式$ sqoop import --connect jdbc:mysql:///corp --table EMPLOYEES --direct#使用sequencefile作为存储方式$ sqoop import --connect jdbc:mysql:///corp --table EMPLOYEES --class-name com.foocorp.Employee --as-sequencefile#分隔符$ sqoop import --connect jdbc:mysql:///corp --table EMPLOYEES --fields-terminated-by \t --lines-terminated-by \n --optionally-enclosed-by \#导入到hive$ sqoop import --connect jdbc:mysql:///corp --table EMPLOYEES --hive-import#条件过滤$ sqoop import --connect jdbc:mysql:///corp --table EMPLOYEES --where start_date 2010-01-01#用dept_id作为分个字段$ sqoop import --connect jdbc:mysql:///corp --table EMPLOYEES --split-by dept_id#追加导入$ sqoop import --connect jdbc:mysql:///somedb --table sometable --where id 100000 --target-dir /incremental_dataset –append--------------------------华丽的分割线------------------------将mysql中的数据导入hdfs文件系统中sqoop import --connect jdbc:mysql://:3306/mysql --usernameroot --passwordroot --tablehelp_topic--fields-terminated-by \t -m2 --target-dir /user/mysql/topic2/$today--default-character-set=utf-8将oracle中的数据导入hdfs文件系统中sqoop import --connect jdbc:oracle:thin:@13:1521:orcl--usernameoracle --password oracle --tablerecmail --columnsnid,ssubject,srecusers,ssendusers,scc,scontent--fields-terminated-by\t -m1--target-dir /user/oracle/email/$today使用—query关联查询sqoop import --connectjdbc:mysql://:3306/test--usernameroot --password root --querySELECT u.id,,u.age,s.score FROM user u join score s on u.id=s.uidWHERE $CONDITIONS --fields-terminated-by\t-m1 --target-dir /user/mysql/topic3/$today生成对应的表的java代码sqoop codegen --connectjdbc:mysq