sqoop job 增量導入

使用sqoop job做增量導入

在執行導入模式為 incremental 的sqoop job 時，sqoop會獲取上次導入操作的 –check-column的value值，也就是說使用sqoop job在做增量導入的時候，不用手動指定 --last-value的值
但是也有這樣的一種情況，sqoop job中如果指定了--incremental 為append模式導入，在指定了增量列--check-column之后，比如id為增量列，並且指定了--last-value的值，比如設置為100，那么在執行sqoop job的時候就會將id>100的行導入到hive中去

增量導入舉個例子

• mysql建表

CREATE TABLE `sqoop_job_incremental` (
  `id` int(11) DEFAULT NULL,
  `name` varchar(255) DEFAULT NULL,
  `last_mod` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
) ENGINE=InnoDB DEFAULT CHARSET=latin1

• mysql插入數據

insert into sqoop_job_incremental(id,name) values(1,'name1');
insert into sqoop_job_incremental(id,name) values(2,'name2');
insert into sqoop_job_incremental(id,name) values(3,'name3');

• 此時mysql中的數據

1    name1    2017-09-27 10:41:56
2    name2    2017-09-27 10:42:13
3    name3    2017-09-27 10:42:20

• 將mysql表結構同步到hive中

sqoop create-hive-table --connect jdbc:mysql://localhost:3306/sqooptest --username root --password 123qwe --table sqoop_job_incremental 
--hive-table sqoop_job_incremental --fields-terminated-by ','

• 新建增量導入的sqoop job

sqoop job --create sqoop_job_incremental -- import --connect jdbc:mysql://localhost:3306/sqooptest --username root --password 123qwe --table sqoop_job_incremental 
--hive-import --hive-table sqoop_job_incremental --check-column last_mod --incremental lastmodified --fields-terminated-by ',' -m 1

• 執行job 

sqoop job --exec sqoop_job_incremental

• 查看hive結果

hive> select * from sqoop_job_incremental
    > ;
OK
1    name1    2017-09-27 10:41:56.0
2    name2    2017-09-27 10:42:13.0
3    name3    2017-09-27 10:42:20.0

• 加入增量數據

insert into sqoop_job_incremental(id,name) values(4,'name4');
insert into sqoop_job_incremental(id,name) values(5,'name5');

• 此時mysql表中的數據

1    name1    2017-09-27 10:41:56
2    name2    2017-09-27 10:42:13
3    name3    2017-09-27 10:42:20
4    name4    2017-09-27 13:20:02
5    name5    2017-09-27 13:20:09

• 執行job

sqoop job --exec sqoop_job_incremental

　　因為--check-column 為 last_mod(數據更改時間)，sqoop在本次執行任務的時候獲取到上次任務執行的last_mod值，只導入大於last_mod的數據.

• 查看hive中的結果

hive> select * from sqoop_job_incremental;
OK
1    name1    2017-09-27 10:41:56.0
2    name2    2017-09-27 10:42:13.0
3    name3    2017-09-27 10:42:20.0
4    name4    2017-09-27 13:20:02.0
5    name5    2017-09-27 13:20:09.0
Time taken: 1.649 seconds, Fetched: 5 row(s)

發現第二次執行job任務只導入了兩條，這兩條就是上次任務之后新添加的數據。

 

每次執行任務都會提示輸入密碼，可通過配置取消這一提示，直接使用job中指定的密碼

在conf/sqoop-site.xml文件中配置
sqoop.metastore.client.record.password
設置為true即可。