記錄一次hadoop安裝過程
虛擬機的配置
首先我們需要先裝好一個虛擬機，我這使用的是Ubuntu18.04版本，安裝好后是英文界面，可以按照以下方法更換為中文界面
首先我們需要下載jdk
打開火狐，切換成百度，搜索jdk，進入官網下載
我們下載這個版本
2.接下來下載hadoop2.7.3版本（其余版本同樣，這里使用2.7.3版本進行演示）
選擇這個
點擊下載，下載完成后可以在下載文檔中查看到這兩個包
接下來 我們進行配置，首先我們先下載一個vim編輯器（好用而已，別的能用也行）
右擊打開終端（如下圖所示）
sudo apt-get install vim
然后系統會自動安裝好vim
一、java環境變量配置
1.將下載好的 jdk包解壓縮到一個自己創建的文件夾中（像這樣）
（首先我在主目錄創建usr>java>jdk1.8.0_261）
2.使用如下命令
sudo vim /etc/profile
打開文件后按 i 鍵進入插入模式
來到最后一行添加以下代碼
推薦使用絕對路徑（我這相對路徑報錯 路徑可在jdk文件屬性中查看）
export JAVA_HOME=/home/master/usr/java/jdk1.8.0_261
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
添加完畢后按esc進入命令模式 按:wq 回車（文件保存並退出）
然后執行如下代碼
source /etc/profile
查看java是否安裝成功
java -version
二、配置ssh免密登錄
一般來說新配置的虛擬機沒有安裝ssh
# 查看ssh安裝包情況 dpkg -l | grep ssh
# 查看是否啟動ssh服務 ps -e | grep ssh
如果沒有安裝的話執行如下命令
sudo apt-get install openssh-server
安裝完成后
ssh -keygen -t rsa
按兩到三次回車直到顯示$可以輸命令了
然后輸入如下命令
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
配置成功 以后就可以免密碼登錄
三、配置hadoop
首先將hadoop壓縮包解壓至自己想放入的文件夾
usr>hadoop (此處我修改了文件名稱 去掉了后面的版本號)
進入usr文件打開終端 授予權限
sudo chown -R master ./hadoop
打開配置文件
sudo vim /etc/profile
添加如下代碼（相當於覆蓋之前java環境配置）
export JAVA_HOME=/home/master/usr/java/jdk1.8.0_261
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
export HADOOP_HOME=/home/master/usr/hadoop
然后:wq 保存退出
source /etc/profile
測試
hadoop version
如下圖所示
四、偽分布式配置
在hadoop>etc>hadoop中找到 core-site.xml 和 hdfs-site.xml 和 hadoop-env.sh 三個文件
找到后直接雙擊打開（以下代碼中的路徑請按照自己路徑進行修改 其中 tmp文件夾沒有沒關系按代碼復制上去）
在core-site.xml中插入如下代碼
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/master/usr/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
在 hdfs-site.xml 中插入如下代碼
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/master/usr/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/master/usr/hadoop/tmp/dfs/data</value>
</property>
</configuration>
在 hadoop-env.sh 中修改 JAVA_HOME的路徑
像這樣 修改為自己路徑
保存退出
最后
配置完成后在 /home/master/usr/hadoop (注意是自己的hadoop目錄) 下使用以下命令 執行format命令，格式化名稱節點
./bin/hdfs namenode -format
如果成功會在后面看見 has been successfully formatted 字樣
開啟hdfs： /home/master/usr/hadoop (注意是自己的hadoop目錄)
./sbin/start-dfs.sh
輸入 jps 查看 如果 datanode和namenode出現表示成功
在瀏覽器中輸入http://localhost:50070 查看 如下 則成功
