Ubuntu20.04 或者Manjaro下安裝Hadoop 2.9.2

ubuntu manjaro 上安裝hadoop

首先使用虛擬機安裝完ubuntu或者manjaro，下面使用的是ubuntu 20.04系統，Hadoop2.9.2

准備軟件

• Hadoop 2.9.2
• openjdk-8-jre
• vim
• openssh-service

hadoop可以去官方下載

hadoop下載地址

下載完成之后，進入linux系統

下面是步驟

更新系統軟件

sudo apt update

更新完成之后，安裝openjdk以及vim

sudo apt install vim

sudo apt install openjdk-8-jdk

安裝完成vim,openjdk-8，openssh-service，以及下載完hadoop之后，下面的安裝方法，ubuntu和manjaro都適用。

創建hadooop用戶並且更改hadoop用戶密碼，使用自己的密碼就可以。

//創建hadoop用戶
sudo adduser hadoop

//更改hadoop用戶密碼
sudo passwd hadoop

以上的配置完成之后，使用hadoop用戶

su - hadoop

切換成hadoop之后，設置ssh免密登錄

ssh-keygen -t rsa 

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

chmod 640 ~/.ssh/authorized_keys 

然后試試ssh localhost，查看是否能夠免密登錄

如果遇到22端口被拒絕的情況，很有可能是ssh服務並沒有開啟。
切換成exit退出當前用戶，使用主用戶
輸入sudo service ssh start進行服務的開啟。如果顯示沒有該服務，那么可以確定系統並沒有安裝ssh服務，去安裝服務。

完成這些之后，把下載的Hadoop安裝包復制到hadoop的家目錄

然后開始解壓到本目錄

tar -zxvf hadoop-2.9.2.tar.gz

解壓完成之后，修改一下hadoop目錄的名稱。

mv hadoop-2.9.2 hadoop

修改bash的配置信息

vim .bashrc

然后把信息復制到最下面的地方

# JAVA_HOME對應你自己的java home路徑

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

怎樣看java home路徑？
輸入whereis java
找到找到路徑之后，使用ls -la一個個進行查找，下面的圖片就是查找的過程
找到之后，更改為自己的java home目錄即可

完成配置之后，使用source .bashrc更新即可

更新hadoop的JAVA_HOME路徑vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

更改java路徑為

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/

更改完之后，創建兩個目錄

mkdir -p ~/hadoopdata/hdfs/namenode 
mkdir -p ~/hadoopdata/hdfs/datanode 

然后更改幾個文件

• core-site.xml
• hdfs-site.xml
• mapred-site.xml

• 這個文件需要復制，cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

• yarn-site.xml

vim使用方法：

• i,a 觸發編輯模式
• esc 觸發命令行模式
• :wq保存並退出
• :wq!強制保存並退出
• :q!強制退出，不保存

core-site.xml文件

vim $HADOOP_HOME/etc/hadoop/core-site.xml

core-site.xml文件的添加內容如下：

<configuration>
	<property>
   		<name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml文件

vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

hdfs-site.xml文件添加內容如下：

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
     <property>
       	<name>dfs.name.dir</name>
       	<value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
     </property>
     <property>
      	<name>dfs.data.dir</name>
     	<value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
     </property>
</configuration>

mapred-site.xml文件

vim $HADOOP_HOME/etc/hadoop/mapred-site.xml
mapred-site.xml 文件添加內容如下：

<configuration>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
</configuration>

yarn-site.xml文件

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

yarn-site.xml 文件添加內容如下：

<configuration>
   <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
   </property>
</configuration>

完成之后，格式化節點信息

hdfs namenode -format

如果你的輸出是以下信息，那就證明你初始化成功了

然后啟動dfs

start-dfs.sh

啟動后的截圖:

最后啟動yarn

start-yarn.sh

啟動成功截圖如下

最后，在控制台中輸入jps，應該會出現以下進程名稱

這樣，你就成功地進行配置了hadoop

• http://localhost:50070可以查看NameNode 和 Datanode 信息

參考這篇文章
有些地方行不通，進行了一定的修改。