HDFS JAVA客戶端的權限錯誤：Permission denied
轉自：http://blog.csdn.net/kkdelta/article/details/50393413
搭建了一個Hadoop的環境，Hadoop集群環境部署在幾個Linux服務器上，現在想使用windows上的Java客戶端來操作集群中的HDFS文件，但是在客戶端運行時出現了如下的認證錯誤，被折磨了幾天，問題終得以解決。以此文記錄問題的解決過程。
（如果想看最終解決問題的方法拉到最后，如果想看我的問題解決思路請從上向下看）
1. 錯誤描述
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x
其實這個錯誤的原因很容易看出來，用戶Administator在hadoop上執行寫操作時被權限系統拒絕.
2. 解決問題的過程
看到這個錯誤的，第一步就是將這個錯誤直接入放到百度google里面進行搜索。找到了N多篇文章，但是主要的思路就如此篇文章所寫的兩個解決辦法：http://www.cnblogs.com/acmy/archive/2011/10/28/2227901.html
1、在hdfs的配置文件中，將dfs.permissions修改為False
2、執行這樣的操作 hadoop fs -chmod 777 /user/hadoop
對於上面的第一個方法，我試了行不通，不知道是自己設置錯誤還是其他原因，對我此法不可行，第二個方法可行。第二個方法是讓我們來修改HDFS中相應文件夾的權限，后面的/user/hadoop這個路徑為HDFS中的文件路徑，這樣修改之后就讓我們的administrator有在HDFS的相應目錄下有寫文件的權限（所有的用戶都是寫權限）。
雖然上面的第二步可以解決問題了，上傳之后的文件所有者為Administrator，但是總感覺這樣的方法不夠優雅，而且這樣修改權限會有一定的安全問題，總之就是看着不爽，就在想有沒有其他的辦法？
3. 問題分析
開始仔細的觀察了這個錯誤的詳細信息，看到user=Administrator, access=WRITE。這里的user其實是我當前系統（運行客戶端的計算機的操作系統）的用戶名，實際期望這里的user=hadoop（hadoop是我的HADOOP上面的用戶名），但是它取的是當前的系統的用戶名，很明顯，如果我將當前系統的用戶名改為hadoop，這個肯定也是可以行得通的，但是如果后期將開發的代碼部署到服務器上之后，就不能方便的修改用戶，此方法明顯也不夠方便。
現在就想着Configuration這個是一個配置類，有沒有一個參數是可以在某個地方設置以哪個用戶運行呢？搜索了半天，無果。沒有找到相關的配置參數。
最終只有繼續分析代碼， FileSystem fs = FileSystem.get(URI.create(dest), conf);代碼是在此處開始對HDFS進行調用，所以就想着將HADOOP的源碼下下來，debug整個調用過程，這個user=Administator是在什么時間賦予的值。理解了調用過程，還怕找不到解決問題的辦法么？
跟蹤代碼進入 FileSystem.get-->CACHE.get（）-->Key key = new Key(uri, conf);到這里的時候發現key值里面已經有Administrator了，所以關鍵肯定是在new key的過程。繼續跟蹤UserGroupInformation.getCurrentUser()-->getLoginUser()-->login.login()到這一步的時候發現用戶名已經確定了，但是這個方法是Java的核心源碼，是一個通用的安全認證，但對這一塊不熟悉，但是debug時看到subject里面有NTUserPrincipal：Administator，所以就想着搜索一下這個東西是啥，結果就找到了下面這一篇關鍵的文章：
http://www.udpwork.com/item/7047.html
在此篇文章里面作者分析了hadoop的整個登錄過程，對於我有用的是其中的這一段：
2.login.login();
這個會調用HadoopLoginModule的login()和commit()方法。
HadoopLoginModule的login()方法是一個空函數，只打印了一行調試日志 LOG.debug("hadoop login");
commit()方法負責把Principal添加到Subject中。
此時一個首要問題是username是什么？
在使用了kerberos的情況下，從javax.security.auth.kerberos.KerberosPrincipal的實例獲取username。
在未使用kerberos的情況下，優先讀取HADOOP_USER_NAME這個系統環境變量，如果不為空，那么拿它作username。否則，讀取HADOOP_USER_NAME這個java環境變量。否則，從com.sun.security.auth.NTUserPrincipal或者com.sun.security.auth.UnixPrincipal的實例獲取username。
如果以上嘗試都失敗，那么拋出異常LoginException("Can’t find user name")。
最終拿username構造org.apache.hadoop.security.User的實例添加到Subject中。
看完這一段，我明白了執行login.login的時候調用了hadoop里面的HadoopLoginModule方法，而關鍵是在commit方法里面，在這里優先讀取HADOOP_USER_NAME系統環境變量，然后是java環境變量，如果再沒有就從NTUserPrincipal等里面取。關鍵代碼為：
1 if (!isSecurityEnabled() && (user == null)) { 2 String envUser = System.getenv(HADOOP_USER_NAME); 3 if (envUser == null) { 4 envUser = System.getProperty(HADOOP_USER_NAME); 5 } 6 user = envUser == null ? null : new User(envUser); 7 }
OK，看到這里我的需求也就解決了，只要在系統的環境變量里面添加HADOOP_USER_NAME=hadoop（HDFS上的有權限的用戶，具體看自己的情況），或者在當前JDK的變量參數里面添加HADOOP_USER_NAME這個Java變量即可。我的情況添加系統環境變量更方法。
如果是在Eclipse里面運行，修改完環境變量后，記得重啟一下eclipse，不然可能不會生效。
4. 解決辦法
最終，總結下來解決辦法大概有三種：
1、在系統的環境變量或java JVM變量里面添加HADOOP_USER_NAME，這個值具體等於多少看自己的情況，以后會運行HADOOP上的Linux的用戶名。（修改完重啟eclipse，不然可能不生效）
2、將當前系統的帳號修改為hadoop
3、使用HDFS的命令行接口修改相應目錄的權限，hadoop fs -chmod 777 /user,后面的/user是要上傳文件的路徑，不同的情況可能不一樣，比如要上傳的文件路徑為hdfs://namenode/user/xxx.doc，則這樣的修改可以，如果要上傳的文件路徑為hdfs://namenode/java/xxx.doc，則要修改的為hadoop fs -chmod 777 /java或者hadoop fs -chmod 777 /，java的那個需要先在HDFS里面建立Java目錄，后面的這個是為根目錄調整權限。
最好的辦法:System.setProperty("HADOOP_USER_NAME", "xxxx");