Hadoop技巧(01):插件,終端權限


閱讀目錄

本文版權歸mephisto和博客園共有,歡迎轉載,但須保留此段聲明,並給出原文鏈接,謝謝合作。

文章是哥(mephisto)寫的,SourceLink

 

     在hadoop開發或者使用中,可能會使用到一些插件或3方軟件,比如:Eclipse的Hadoop插件,ETL的Kettle。那么就存在一個hdfs目錄權限的問題。

     下面就這個權限問題進行闡述。

HDFS權限

一:目錄結構

  Hadoop文件系統HDFS的用戶為hdfs,默認密碼為空。HDFS根目錄下還有一個tmp目錄,這個目錄是可以任何用戶進行操作的,包括新建、刪除目錄和文件(tmp下原有的其他用戶創建的文件及文件夾則不能訪問)。

二:默認權限

     我們在這個權限下只能操作tmp目錄,如下,其他的目錄不能操作。

  右鍵tmp,新建目錄test-1,刷新。

  結果如下

  右鍵test-1,上傳文件test.txt到DFS

  其他現有目錄就沒法向上面那樣操作成功了

三:增加環境變量

  在環境變量用增加兩個環境變量:

  HADOOP_HOME

    D:\02.Code\hadoop-2.7.1

  HADOOP_USER_NAME

    hdfs

四:Eclipse插件

  重啟Eclipse,然后我們可以對tmp外其他目錄進行操作,我們也可以在根目錄下新建新的目錄。

點擊根目錄,新建test-1,刷新

  結果。

 

五:Kettle

   新建一個轉換,在Hadoop clusters中新建一個集群h188

  點擊測試,我們可以看到User Home Directory Access是紅叉

  說明是不能訪問的。

  

  我們設置了環境變量后。

  再點測試,發現可以訪問了。

 

--------------------------------------------------------------------

  到此,本章節的內容講述完畢。

系列索引

  Hadoop技巧系列索引

 

 

 

 

本文版權歸mephisto和博客園共有,歡迎轉載,但須保留此段聲明,並給出原文鏈接,謝謝合作。

文章是哥(mephisto)寫的,SourceLink


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM