gp數據庫的數據加載與卸載---基於外部表


一.連接數據庫
 

 

 
 
 
2 啟動 gpfdist 
 

 

 
啟動過程:
 

 

 
 
把數據文件.dat拖入linux下,存放在 /home/gpadmin/gptestdata / 目錄下
 

 

 
 
創建外部表成功
 

 
 
創建加載目標表:
 

 

 
 
 
加載數據:
 
 
客戶端查看數據:
 

 

 
 
 
 
 
 
問題一:

 
解決辦法:錯誤原因是之前在啟動gpfdist的時候已經寫了  -d /home/gpadmin了,所以在這里location這里的地址應該是寫相對路徑了,即:
location('gpfdist://192.168.55.61:8081/gptestdata/customers.dat');

 

 
 
問題二:
 
 
錯誤原因: SEGMENT REJECT LIMIT子句允許隔離外部表中格式錯誤的數據,並繼續裝載格式正確的行。使用SEGMENT REJECT LIMIT設置一個錯誤閾值,指定拒絕的數據行數(缺省)或一個占總行數的百分比(1-100)。
        如果錯誤行數達到了SEGMENT REJECT LIMIT的值,整個外部表操作失敗,沒有數據行被處理。限制的錯誤行數是相對於一個虛擬段的,不是整個操作的。如果錯誤行數沒有達到SEGMENT REJECT LIMIT值,操作處理所有正確的行,丟棄錯誤行,或者可選地將格式錯誤的行寫入日志表。LOG ERRORS子句允許保存錯誤行以備后續檢查。
        設置SEGMENT REJECT LIMIT會使HAWQ以單行錯誤隔離模式掃描外部數據。當外部數據行出現多余屬性、缺少屬性、數據類型錯誤、無效的客戶端編碼序列等格式錯誤時,單行錯誤隔離模式將錯誤行丟棄或寫入日志表。HAWQ不檢查約束錯誤,但可以在查詢外部表時過濾約束錯誤。
 
創建的表結構缺少字段:
 
 

 

刪除外部表:
 

 

 
 
 
基於copy的數據加載和卸載:
 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM