CDH 本地hadoop支持讀寫 AWS S3a

1、需要安裝S3 Connector

2、在后台管理頁面 管理==》外部賬戶 中增加訪問aws的賬戶 訪問秘鑰ID 保密秘鑰

3、重啟配置就可以訪問 S3a

 

 

hive 

INSERT OVERWRITE DIRECTORY 's3a://'
row FORMAT DELIMITED
fields TERMINATED BY ','
SELECT * FROM XXXXX LIMIT 10;

 

與使用aws中有區別 此處 S3地址為 s3a 在aws中為s3