Kettle过程——数据转换设计 - 副本.docVIP

工具链1 目录 造数据 3 Kettle过程——数据转换设计 4 1.新建本地资源库 4 2.连接数据库 6 1）新建转换 6 3）连接mysql数据库 8 3.设计转换 10 1）表输入 10 2）表输出 12 Azkaban 15 Zeppelin 17 造数据 进入mysql [root@wxb-2 ~]# mysql Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 282 Server version: 5.1.73 Source distribution Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved. Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners. Type help; or \h for help. Type \c to clear the current input statement. 创建数据库 mysqlcreate database gjl； 创建表 mysqlcreate table gjl_test0(id varchar(20),name varchar(20),age varchar(20),addr varchar(20)); 插入数据 将a3.txt文件内的脚本粘贴到mysql中即可，插入10000条数据。 Kettle过程——数据转换设计 1.新建本地资源库 进去点+号 上面选择我创建的本地目录。 我在根下新建了一个目录作为本地资源库。 [root@wxb-2 kettle_repository]# ls -a . .. .meta 创建完成后会出现一个.meta的隐藏目录，存的kettle的信息。 2.连接数据库 1）新建转换 2）连接hive数据库 hive show databases; OK default gjl hive use gjl; OK Time taken: 1.019 seconds hive show tables; OK gjl_test0 Time taken: 0.274 seconds, Fetched: 1 row(s) hive select * from gjl_test0; OK Time taken: 2.589 seconds 以上hive中表为目标表，没有数据。 3）连接mysql数据库 mysql use gjl Database changed mysql show tables; +---------------+ | Tables_in_gjl | +---------------+ | gjl_test0 | +---------------+ 1 row in set (0.00 sec) mysql select * from gjl_test0 limit 10; +------+------+------+-----------+ | id | name | age | addr | +------+------+------+-----------+ | 0 | a0 | 23 | shanghai | | 1 | a1 | 0 | beijing | | 2 | a2 | 7 | guangzhou | | 3 | a3 | 48 | shanghai | | 4 | a4 | 36 | nanjing | | 5 | a5 | 32 | guangzhou | | 6 | a6 | 26 | guangzhou | | 7 | a7 | 31 | shanghai | | 8 | a8 | 4 | nanjing | | 9 | a9 | 45 | nanjing | +------+------+------+-----------+ 10 rows in set (0.00 sec) 以上mysql中数据为原始数据。 出现2个数据库连接，我的第一个AA为hive连接，第二个BB为mysql连接。 3.设计转换 1）