yaml文件結構


VERSION: 1.0.0.1            --指定控制文件schema的版本
DATABASE: db_name           --指定連接數據庫的名字,如果沒有指定,由環境變量$PGDATABASE,或者通過gpload參數-d指定
USER: db_username           --指定連接目標數據庫的用戶名,如果不使用超級管理員,服務參數gp_external_grant_privileges必須設置成on。
HOST: master_hostname       --指定master主機名,也可以通過gpload的-h選項,或者環境變量$PGHOST指定
PORT: master_port           --指定master的連接端口號,默認是5432,或者通過gpload命令的-p選項或者環境變量$PGPORT指定。
GPLOAD:                     --必須指定,表示裝載設置部分在它下面必須定義INPUT:和OUTPUT:兩個部分。
INPUT:                      --必須指定,這部分指定裝載數據的格式和位置
- SOURCE:                   --必須指定,定義source文件的位置,每個輸入部分可以定義多個source部分, windows路徑的指定比較特別,比如c:\ 要寫成 c:/
LOCAL_HOSTNAME:             --指定gpload運行的主機名稱和ip地址,如果有多塊網卡,可以同時使用它們,提高裝載速度。默認只使用首選主機名和IP。
- hostname_or_ip
PORT: http_port             --指定gpfdist使用的端口,也可以選擇端口范圍,由系統選擇,如果同時指定,port設置優先級高。
| PORT_RANGE: [start_port_range, end_port_range]
FILE:                       --指定裝載數據文件的位置,目錄或者命名管道。如果文件使用gpzip或者bzip2進行了壓縮,它可以自動解壓。可以使用通配符*和C語言風格的關系匹配模式指定多個文件。
- /path/to/input_file
- COLUMNS:                    --指定數據源的數據格式,如果沒有指定這部分,source表的列順序,數量,以及數據類型必須與目標表一致。
- field_name: data_type
- FORMAT: text | csv          --指定文件格式是text還是csv
- DELIMITER: 'delimiter_character'  --指定文本數據域(列)之間的分割符,默認是|
- ESCAPE: 'escape_character' | 'OFF'  --text定義轉義字符,text格式默認是\,在text格式中可以選擇off關掉轉義字符(web log處理時比較有用)
- NULL_AS: 'null_string'       --指定描述空值的字符串,text格式默認是\N,csv格式不使用轉義符號的空值。
- FORCE_NOT_NULL: true | false --csv格式,強制所有字符默認都用”“括起,因此不能有空值,如果兩個分割符之間沒有值,被當做0長度字符串,認為值已經丟失。
- QUOTE: 'csv_quote_character'  --csv指定轉義字符,默認是"
- HEADER: true | false          --是否跳過數據文件第一行,當做表頭
- ENCODING: database_encoding   --指定數據源的字符集
- ERROR_LIMIT: integer          --指定由於不符合格式數據記錄的上限,如果超過該上限,gpload停止裝載,否則正確記錄可以被裝載,錯誤記錄拋出寫入錯誤表。但它僅支持數據格式錯誤,不支持違背約束的問題
- ERROR_TABLE: schema.table_name --指定不符合格式要求記錄的錯誤表。如果指定的表不存在系統自動創建。

OUTPUT:
- TABLE: schema.table_name       --指定裝載的目標表
- MODE: insert | update | merge  --指定操作模式,默認是insert。merge操作不支持使用隨機分布策略的表。
- MATCH_COLUMNS:                 --為update操作和merge操作指定匹配條件。
     - target_column_name            
- UPDATE_COLUMNS:                 --為update操作和merge操作指定更新的列
     - target_column_name
- UPDATE_CONDITION: 'boolean_condition'  --指定where條件,目標表中只有滿足條件的記錄才能更改,(merge情況下,只有滿足條件的記錄才能insert)
- MAPPING:                        --指定source列和目標列的映射關系。
target_column_name: source_column_name | 'expression'
PRELOAD:                          --指定load之前的操作
- TRUNCATE: true | false          --如果設置成true,裝載之前先刪除目標表中所有記錄,再裝載
- REUSE_TABLES: true | false     --設置成true,不會刪除外部表對象會這中間表對象。從而提升性能。
SQL:
- BEFORE: "sql_command"         --裝載操作開始前執行的SQL,比如寫日志表
- AFTER: "sql_command"          --裝載操作之后執行的SQL。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM