Sqoop Import原理
Sqoop Import詳細流程講解
Sqoop在import時，需要指定split-by參數。Sqoop根據不同的split-by參數值來進行切分，然后將切分出來的區域分配到不同map中。
每個map中再處理數據庫中獲取的一行一行的值，寫入到HDFS中(由此也可知，導入導出的事務是以Mapper任務為單位)。
同時split-by根據不同的參數類型有不同的切分方法，如比較簡單的int型，Sqoop會取最大和最小split-by字段值，然后根據傳入的num-mappers來確定划分幾個區域。
比如select max(split_by),min(split-by) from得到的max(split-by)和min(split-by)分別為1000和1，而num-mappers為2的話，則會分成兩個區域(1,500)和(501-1000),同時也會分成2個sql給2個map去進行導入操作，分別為select XXX from table where split-by>=1 and split-by<500和select XXX from table where split-by>=501 and split-by<=1000。最后每個map各自獲取各自SQL中的數據進行導入工作。