Sqoop 增量導入
注：若需轉載，請注明出處！
Sqoop導出視頻請參考：https://edu.hellobi.com/course/93/lessons （Sqoop增量導入部分）
1、核心參數
–check-column，用來指定一些列，這些列在導入時用來檢查做決定數據是否要被作為增量數據，在一般關系型數據庫中，都存在類似Last_Mod_Date的字段或主鍵。注意：這些被檢查的列的類型不能是任意字符類型，例如Char，VARCHAR…（即字符類型不能作為增量標識字段）
–incremental，用來指定增量導入的模式（Mode），append和lastmodified
–last-value，指定上一次導入中檢查列指定字段最大值
2、增量模式（Mode）
1、append，在導入的新數據ID值是連續時采用，對數據進行附加
2、lastmodified，在源表中有數據更新的時候使用，檢查列就必須是一個時間戳或日期類型的字段，更新完之后，last-value會被設置為執行增量導入時的當前系統時間
1、 Append
加不加–last-value的區別在於：數據是否冗余，如果不加，則會導入源表中的所有數據導致數據冗余。
2、 Lastmodified
當使用–incremental lastmodified模式進行導入且導入目錄已存在時，需要使用–merge-key或–append
導入>=last-value的值。
3、示例
sqoop import --connect jdbc:mysql://centos:3306/sqooptest --table bigdata --username root --password 123456 --check-column last_mod_ts --incremental lastmodified --last-value "2016-10-03 22:39:43" --merge-key class_id -m 1