cm-hdfs:
ufile: 還需添加jar包
S3:是自帶jar包
OSS: CDH6不需要下載包, CDH5需要
core-site.xml 的群集范圍高級配置代碼段（安全閥）
fs.oss.endpoint oss-eu-west-1.aliyuncs.com #oss的外網地址
fs.oss.accessKeyId
fs.oss.accessKeySecret
fs.oss.impl org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem
fs.oss.buffer.dir /tmp/oss
fs.oss.connection.secure.enabled false #是否enable https, 根據需要來設置，enable https會影響性能
fs.oss.connection.maximum 10000
#默認jar包位置:
/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/aliyun-sdk-oss-2.8.3.jar
/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/hadoop-aliyun-3.0.0-cdh6.2.0.jar
待測試:
cp jindofs-sdk-2.3.0.jar /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/
把原有的aliyun-sdk-oss-2.8.3.jar做個備份刪除,重啟hdfs服務,看新報能不能用?
#在CDH中需在cm中配置(需測試)
hadoop-env.sh配置修改
打開文件： vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
在相應位置增加如下內容：
export HADOOP_OPTIONAL_TOOLS="hadoop-aliyun"
修改完成之后，重啟Hadoop集群
#檢查
hdfs dfs -ls oss://opay-datalake/