通用參數

import


export

通用通用參數
選項 含義說明
–connect 指定JDBC連接字符串
–connection-manager 指定要使用的連接管理器類
–driver 指定要使用的JDBC驅動類
–hadoop-mapred-home
指定$HADOOP_MAPRED_HOME路徑
–help 打印用法幫助信息
–password-file 設置用於存放認證的密碼信息文件的路徑
-P 從控制台讀取輸入的密碼
–password 設置認證密碼
–username 設置認證用戶名
–verbose 打印詳細的運行信息
–connection-param-file 可選,指定存儲數據庫連接參數的屬性文件
import
選項 含義說明
–append 將數據追加到HDFS上一個已存在的數據集上
–as-avrodatafile 將數據導入到Avro數據文件
–as-sequencefile 將數據導入到SequenceFile
–as-textfile 將數據導入到普通文本文件(默認)
–boundary-query 邊界查詢,用於創建分片(InputSplit)
–columns <col,col,col…> 從表中導出指定的一組列的數據
–delete-target-dir 如果指定目錄存在,則先刪除掉
–direct 使用直接導入模式(優化導入速度)
–direct-split-size 分割輸入stream的字節大小(在直接導入模式下)
–fetch-size 從數據庫中批量讀取記錄數
–inline-lob-limit 設置內聯的LOB對象的大小
-m,–num-mappers 使用n個map任務並行導入數據
-e,–query 導入的查詢語句
–split-by 指定按照哪個列去分割數據
–table 導入的源表表名
–target-dir
導入HDFS的目標路徑
–warehouse-dir
HDFS存放表的根路徑
–where 指定導出時所使用的查詢條件
-z,–compress 啟用壓縮
–compression-codec 指定Hadoop的codec方式(默認gzip)
–null-string 果指定列為字符串類型,使用指定字符串替換值為null的該類列的值
–null-non-string <null-string 如果指定列為非字符串類型,使用指定字符串替換值為null的該類列的值
export
選項 含義說明
–validate 啟用數據副本驗證功能,僅支持單表拷貝,可以指定驗證使用的實現類
–validation-threshold 指定驗證門限所使用的類
–direct 使用直接導出模式(優化速度)
–export-dir
導出過程中HDFS源路徑
-m,–num-mappers 使用n個map任務並行導出
–table 導出的目的表名稱
–call 導出數據調用的指定存儲過程名
–update-key 更新參考的列名稱,多個列名使用逗號分隔
–update-mode 指定更新策略,包括:updateonly(默認)、allowinsert
–input-null-string 使用指定字符串,替換字符串類型值為null的列
–input-null-non-string 使用指定字符串,替換非字符串類型值為null的列
–staging-table 在數據導出到數據庫之前,數據臨時存放的表名稱
–clear-staging-table 清除工作區中臨時存放的數據
–batch 使用批量模式導出
————————————————
版權聲明:本文為CSDN博主「夏至1208」的原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接及本聲明。
原文鏈接:https://blog.csdn.net/qq_34382453/article/details/83573141
