安裝Hadoop(單機)


1.下載hadoop

2.用ftp上傳到CentOS 7

3.解壓(安裝)

命令:tar -zxvf hadoop-2.9.2.tar.gz


安裝完成

4.配置hadoop-evn.sh

首先配置hadoop-evn.sh,先進入目錄cd hadoop-2.9.2/etc/hadoop/,然后編輯vi hadoop-env.sh
在文件末尾加上

export JAVA_HOME=/soft/jdk1.8.0_161/jre        #自己的jdk位置


保存 退出

5.驗證Hadoop是否可以運行

回到hadoop-2.9.2目錄下 cd ../.. 輸入bin/hadoop version

6.配置環境變量

vim ~/.bashrc(修改當前用戶)或 vim /etc/profile(修改所有用戶)

在文件尾部加上:
export HADOOP_HOME=/soft/hadoop-2.9.2                #自己安裝的Hadoop路徑
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin


使.bashrc 生效source ~/.bashrc


驗證 在任意目錄下hadoop version(注意沒有-,不是-version)

7.Hadoop核心文件配置

編輯core-site.xml文件 在Hadoop安裝目錄下vi ./etc/hadoop/core-site.xml

加入:
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

配置hdfs-site.xml文件 在Hadoop安裝目錄下 vi ./etc/hadoop/hdfs-site.xml

加入:
<configuration>
        <property>
                <name>dfs.relication</name>
                <value>1</value>
        </property>
</configuration>

8.ssh免密登錄

檢查當前系統能夠免密登錄到自己ssh localhost
如果提示輸入密碼就代表不支持免密登錄,我們需要做相應的修改

- 首先我們需要先生成本地的密鑰    在安裝目錄下輸入`ssh-keygen`**(沒有空格)**,然后一直回車
- 接下來將本機公鑰添加到本機的受信文件中,這里我們使用一個方便的命令:`ssh-copy-id localhost`
- 我們再次使用ssh localhost 命令就不再會出現密碼提示了,能夠只能登錄到系統自身
- 如果想退出系統自身的登錄狀態,可使用exit命令

(或者(不好使的話)可參考鏈接:https://blog.csdn.net/u014507244/article/details/53037379)

9.hdfs啟動

啟動hdfs之前我們需要格式化文件系統,只要日志中不出現錯誤信息就代表格式化成功hdfs namenode -format

我們使用start-dfs.sh命令啟動hdfs系統

啟動成功后,我們進入Linux虛擬機,打開火狐瀏覽器,地址欄中輸入localhost:50070就能看到hdfs的概況信息

至此,一個最簡單的Hadoop單機安裝過程就完成了,以此單機環境為基礎,我們可以練習一些Hadoop的常用shell命令與hdfs的常用shell命令,以及hdfs的java api
在后面我們會搭建更復雜更強大的Hadoop集群


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM