最近內部需求,要求我把數據上傳HDFS,順便分享一下如何安裝並查看HDFS文件目錄
我是在 ubuntu(14.04.2) 上安裝的:
1. 我安裝ubuntu用的不是Hadoop用戶,所以要新建一個Hadoop用戶
$ sudo useradd -m hadoop -s /bin/bash
設置密碼
$ sudo passwd hadoop
增加Hadoop用戶管理權限,方便部署
$ sudo adduser hadoop sudo
更新apt (若出現 “Hash校驗和不符” 的提示,可通過更改軟件源來解決,由於我在該步驟沒有出現這個問題。。。你們懂得)
$ sudo apt-get update
2. 安裝SSH,配置SSH無密碼登陸(Ubuntu 默認已安裝了 SSH client,此外還需要安裝 SSH server)
$ sudo apt-get install openssh-server
先登錄一次ssh,按提示輸入ubuntu的密碼(登陸后如要退出,輸入exit)
$ ssh localhost
配置SSH無密碼登錄
$ cd ~/.ssh/ # 若沒有該目錄,請先執行一次ssh localhost
$ ssh-keygen -t rsa # 會有提示,都按回車就可以
$ cat ./id_rsa.pub >> ./authorized_keys # 加入授權
3. 安裝Java環境
$ sudo apt-get install openjdk-7-jre openjdk-7-jdk #這邊我直接通過命令安裝 OpenJDK 7
找到OpenJDK的安裝路徑 (該命令輸出路徑去掉 /bin/javac 就是 JDK安裝路徑, 之后會用到)
$ dpkg -L openjdk-7-jdk | grep '/bin/javac'
配置 JAVA_HOME 環境變量
$ vim ~/.bashrc
在文件最前面添加如下單獨一行(注意 = 號前后不能有空格),將“JDK安裝路徑”改為之前命令得到的路徑,並保存:
$ export JAVA_HOME=JDK安裝路徑
保存文件退出,執行命令使其生效:
$ source ~/.bashrc
檢測一下是否生效:
$ echo $JAVA_HOME # 檢驗變量值
$ java -version
$ JAVA_HOME/bin/java -version # 與直接執行 java -version 一樣
以上,Java環境安裝完畢
4. 安裝Hadoop
Hadoop 2 可以通過 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下載,一般選擇下載最新的穩定版本,即下載 “stable” 下的 hadoop-x.x.y.tar.gz 這個格式的文件,這是編譯好的,另一個包含 src 的則是 Hadoop 源代碼,需要進行編譯才可使用。我下載的是最新穩定版hadoop-2.9.0.tar.gz
解壓到目標目錄
$ sudo tar -zxf ~/download/hadoop-2.9.0.tar.gz -C ~/download
此時我的文件夾狀態:
$ sudo mv ./hadoop-2.9.0/ ./hadoop # 修改文件名
$ sudo chown -R hadoop ./hadoop # 修改文件權限
由於我下載的包解壓后就可以使用,現在測試一下Hadoop是否安裝成功
$ cd hadoop # 進入hadoop文件夾
$ ./bin/hadoop version # 成功則會顯示 Hadoop 版本信息
到此Hadoop安裝完成
5. 查看HDFS上的文件
在hadoop文件夾下,輸入如下命令:
$ ./bin/hadoop fs -ls hdfs://192.168.X.XX:XX/test/input/online
把 -ls 改為 -text 就可以查看文件了
更多操作請參考http://www.powerxing.com/install-hadoop/、https://segmentfault.com/a/1190000002672666
PS: 各位覺得有用就留個贊 THX