HDFS安裝


最近內部需求,要求我把數據上傳HDFS,順便分享一下如何安裝並查看HDFS文件目錄

我是在 ubuntu(14.04.2) 上安裝的:

1. 我安裝ubuntu用的不是Hadoop用戶,所以要新建一個Hadoop用戶

  $ sudo useradd -m hadoop -s /bin/bash

    設置密碼

  $ sudo passwd hadoop

   增加Hadoop用戶管理權限,方便部署

  $ sudo adduser hadoop sudo

   更新apt (若出現 “Hash校驗和不符” 的提示,可通過更改軟件源來解決,由於我在該步驟沒有出現這個問題。。。你們懂得)

  $ sudo apt-get update

2. 安裝SSH,配置SSH無密碼登陸(Ubuntu 默認已安裝了 SSH client,此外還需要安裝 SSH server

  $ sudo apt-get install openssh-server

   先登錄一次ssh,按提示輸入ubuntu的密碼(登陸后如要退出,輸入exit)

  $ ssh localhost

   配置SSH無密碼登錄

  $ cd ~/.ssh/                 # 若沒有該目錄,請先執行一次ssh localhost

  $ ssh-keygen -t rsa               # 會有提示,都按回車就可以

  $ cat ./id_rsa.pub >> ./authorized_keys     # 加入授權

3. 安裝Java環境

  sudo apt-get install openjdk-7-jre openjdk-7-jdk  #這邊我直接通過命令安裝 OpenJDK 7

   找到OpenJDK的安裝路徑 (該命令輸出路徑去掉 /bin/javac 就是 JDK安裝路徑, 之后會用到)

  $ dpkg -L openjdk-7-jdk | grep '/bin/javac'

   配置 JAVA_HOME 環境變量

  $ vim ~/.bashrc

   在文件最前面添加如下單獨一行(注意 = 號前后不能有空格),將“JDK安裝路徑”改為之前命令得到的路徑,並保存:

  $ export JAVA_HOME=JDK安裝路徑

   

 

   保存文件退出,執行命令使其生效:

  $ source ~/.bashrc

   檢測一下是否生效:

  $ echo $JAVA_HOME          # 檢驗變量值

  $ java -version

  $ JAVA_HOME/bin/java -version    # 與直接執行 java -version 一樣

   以上,Java環境安裝完畢

4. 安裝Hadoop

Hadoop 2 可以通過 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下載,一般選擇下載最新的穩定版本,即下載 “stable” 下的 hadoop-x.x.y.tar.gz 這個格式的文件,這是編譯好的,另一個包含 src 的則是 Hadoop 源代碼,需要進行編譯才可使用。我下載的是最新穩定版hadoop-2.9.0.tar.gz

   解壓到目標目錄

  $ sudo tar -zxf ~/download/hadoop-2.9.0.tar.gz -C ~/download

   此時我的文件夾狀態:

   

  $ sudo mv ./hadoop-2.9.0/ ./hadoop    # 修改文件名

  sudo chown -R hadoop ./hadoop                # 修改文件權限

   由於我下載的包解壓后就可以使用,現在測試一下Hadoop是否安裝成功

  $ cd hadoop       # 進入hadoop文件夾

  $ ./bin/hadoop version  # 成功則會顯示 Hadoop 版本信息

   到此Hadoop安裝完成

5. 查看HDFS上的文件

   在hadoop文件夾下,輸入如下命令:

   $ ./bin/hadoop fs -ls hdfs://192.168.X.XX:XX/test/input/online

把 -ls 改為 -text 就可以查看文件了

更多操作請參考http://www.powerxing.com/install-hadoop/https://segmentfault.com/a/1190000002672666

PS: 各位覺得有用就留個贊 THX

 

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM