gpfdist工具的使用主要兩步:
第一步:打開gpfdist服務:
gpfdist -d /home/admin -p 8081 -l /tmp/gpfdist.log &
參數解釋:
-d 數據文件所放的目錄,我這里的路徑為/home/admin。
-p 設置訪問gpfdist端口,這個可以根據實際情況寫。
-l 設置日志文件所放的目錄,這個參數也可以不用填寫。
* 必須注意“&”這個符號絕對不能忘記填寫,不然開始服務會失敗。
如果執行成功請看下圖中出現的 Serving HTTP on port 8787,directory /home/admin
第二部:編寫導入的sql語句:
1)准備數據文件:
2)准備sql腳本:
create external table test001_ext ( id integer ,name varchar(128) ) Location ( 'gpfdist://192.168.23.128:8081/test001.txt' ) Format 'TEXT' (delimiter as ' ' null as '' escape 'OFF') Encoding 'GB18030' Log errors into public.test001_err segment reject limit 10 rows
Location中填寫的gpfdist://服務器地址:端口/文件名稱
服務器地址:就是安裝linux系統的ip。
端口:就是上面自己配飾的訪問gpfdist的端口。
文件名稱:就是准備的數據文件名稱。
format:設置加載數據文件的格式,delimiter as 定義數據之間的分隔符,這里用到的是空格, null as 定義了null用空值替換。
Encoding 設置數據的編碼格式。
Log 設置了加載數據錯誤的日期會存放到test001_err這張表。