Ambari集群里操作時典型權限問題put: `/home/bigdata/1.txt': No such file or directory的解決方案（圖文詳解）

 

　　不多說，直接上干貨！

 

 

 

 問題詳情

 　　　　明明put該有的文件在，可是怎么提示的是文件找不到的錯誤呢？

　　　　 我就納悶了put: `/home/bigdata/1.txt': No such file or directory

[bigdata@ambigdata1 ~]$ pwd
/home/bigdata
[bigdata@ambigdata1 ~]$ ls
1.txt  Desktop  Documents  Downloads  Music  Pictures  Public  Templates  Videos
[bigdata@ambigdata1 ~]$ 
[bigdata@ambigdata1 ~]$ hadoop fs -put 1.txt /paperdata
put: Permission denied: user=bigdata, access=WRITE, inode="/paperdata._COPYING_":hdfs:hdfs:drwxr-xr-x
[bigdata@ambigdata1 ~]$ 
[bigdata@ambigdata1 ~]$ sudo -u hdfs hadoop fs -put 1.txt /paperdata
put: `1.txt': No such file or directory
[bigdata@ambigdata1 ~]$ 

 

 

 

　　　　

 

 

問題原因

　　　其實是，權限的問題。

　　    剛開始，我也納悶，報沒有文件錯誤，經過排查是權限問題，同時，在hdfs用戶切換過來也得到了驗證。

　　

　　除了自己誰都 操作不了。

 　　

 　　bigdata用戶是我安裝ambari集群時候的用戶，是除了自己bigdata這個用戶之外，以及root用戶，其余全都無法操作。

　　　　

 

 

 

 

 

 

 

　　問題解決辦法

　　

 

 　　[bigdata@ambigdata1 ~]$ sudo -u hdfs hadoop fs -mkdir /papaerdata

　　 [bigdata@ambigdata1 ~]$ sudo -u hdfs hadoop fs -chmod -R 777 /papaerdata

　　 [root@ambigdata1 ~]# chmod 755 -R /root

　 　[root@ambigdata1 bigdata]# sudo -u hdfs hadoop fs -chmod -R 777 /paperdata

　　 [root@ambigdata1 bigdata]# hadoop fs -put 1.txt /paperdata

　　　成功！

 

 

 

 

　　切換到hdfs上驗證下（必須得先從）

　　[bigdata@ambigdata1 ~]$ su root
　　Password:
　　[root@ambigdata1 bigdata]# su hdfs
　　[hdfs@ambigdata1 bigdata]$

 

 

 

　　[hdfs@ambigdata1 ~]$ touch 2.txt
　　[hdfs@ambigdata1 ~]$ hadoop fs -put 2.txt /paperdata
　　[hdfs@ambigdata1 ~]$

 

 

 

 

　　如果想刪除，則

　　

[root@ambigdata1 bigdata]# sudo -u hdfs hadoop fs -rm -r /paperdata/1.txt
17/12/23 16:50:18 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 360 minutes, Emptier interval = 0 minutes.
Moved: 'hdfs://ambigdata1:8020/paperdata1.txt' to trash at: hdfs://ambigdata1:8020/user/hdfs/.Trash/Current
[root@ambigdata1 bigdata]#

 

 

 

 

 

 spark-submit --master yarn-cluster --num-executors 4 --driver-memory 4g --executor-memory 4g --executor-cores 4 --class iforest.TestIF hdfs://ambigdata1:9000/paperdata/IForestSpark.jar hdfs://ambigdata1:9000/paperdata/UNSW-NB15_change.csv hdfs://ambigdata1:9000/paperdata/out

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

歡迎大家，加入我的微信公眾號：大數據躺過的坑        人工智能躺過的坑

 

 

 

同時，大家可以關注我的個人博客：

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   詳情請見：http://www.cnblogs.com/zlslch/p/7473861.html

 

　　人生苦短，我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神，匯聚於互聯網和個人學習工作的精華干貨知識，一切來於互聯網，反饋回互聯網。
　　目前研究領域：大數據、機器學習、深度學習、人工智能、數據挖掘、數據分析。 語言涉及：Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和互聯網上的使用技巧、問題和實用軟件。 只要你一直關注和呆在群里，每天必須有收獲

 

      對應本平台的討論和答疑QQ群：大數據和人工智能躺過的坑（總群）（161156071）