CentOS安裝Hadoop

Hadoop的核心由3個部分組成：

    HDFS: Hadoop Distributed File System，分布式文件系統，hdfs還可以再細分為NameNode、SecondaryNameNode、DataNode。

    YARN: Yet Another Resource Negotiator，資源管理調度系統

    Mapreduce：分布式運算框架

 

1、軟件與環境

　環境：CentOS-7-x86_64-Minimal-1810

    hadoop版本：jdk-8u221-linux-x64.tar.gz，下載地址：https://www.apache.org/dist/hadoop/common/

    jdk版本：jdk-8u221-linux-x64.tar.gz，hadoop只支持jdk7和jdk8，不支持jdk11

2、解壓安裝文件

    通過ftp等工具講安裝包上傳到服務器上，並解壓到/usr/local/目錄

cd /usr/local/ 
tar -zxvf /var/ftp/pub/jdk-8u221-linux-x64.tar.gz
tar -zxvf /var/ftp/pub/hadoop-2.9.2.tar.gz

3、配置JDK

    修改${HADOOP_HMOE}/etc/hadoop/hadoop-env.sh文件，修改JAVA_HOME配置（也可以修改/etc/profile文件，增加JAVA_HOME配置）。

vi etc/hadoop/hadoop-env.sh
// 修改為
export JAVA_HOME=/usr/local/jdk1.8.0_221/

4、設置偽分布模式（Pseudo-Distributed Operation）

    修改etc/hadoop/core-site.xml文件，增加配置（fs.defaultFS：默認文件系統名稱）：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

    修改etc/hadoop/hdfs-site.xml文件，增加配置（dfs.replication：文件副本數）：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

5、設置主機允許無密碼SSH鏈接

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa       // 創建公鑰私鑰對
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys //
chmod 0600 ~/.ssh/authorized_keys // 設置權限，owner有讀寫權限，group和other無權限

6、格式化文件系統

bin/hdfs namenode -format

7、啟動NameNode和DataNode進程（啟動hdfs）

./sbin/start-dfs.sh // 啟動NameNode和DataNode進程
./sbin/stop-dfs.sh  // 關閉NameNode和DataNode進程

    輸入地址：http://192.168.114.135:50070，可查看HDFS

8、 啟動YARN

./sbin/start-yarn.sh
./sbin/stop-yarn.sh

 

     輸入地址：http://192.168.114.135:8088/，可查看YARN