Hadoop(1):Centos 7 安裝 Hadoop 3.2.1


最近學習大數據相關的知識,便於對學習知識進行整理記憶,特將學習過程中的一些內容記錄於此。

本地環境:

       Linux系統:Centos 7(最小安裝)

      內存:4G

      CPU: 2

      網卡:2(IP:10.0.2.5、192.168.56.200)

      JDK版本:1.8

      Hadoop版本:3.2.1

一、虛擬機環境准備

在宿主機中創建符合上述規格的虛擬機一台,並設置IP。

修改主機名:

# hostnamectl set-hostname hadoop200        

關閉防火牆:

# systemctl stop firewalld         

禁止防火牆開機啟動:

# systemctl disable firewalld       

查看防火牆狀態:

# systemctl status firewalld        

 二、安裝JDK

       參考博文:https://www.cnblogs.com/guoxiangyue/p/9633063.html

三、安裝hadoop

下載hadoop 3.2.1 ,

下載地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

下載完成后,將hadoop-3.2.1.tar.gz上傳至Linux機器的 /usr/local 目錄下:

解壓安裝包:

# tar -zvxf hadoop-3.2.1.tar.gz        

# mv hadoop-3.2.1 hadoop       

將hadoop添加環境變量

# vim /etc/profile        

將以下內容添加到該文件中:

export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin

保存退出

使配置生效

# source /etc/profile       

測試是否安裝成功

# hadoop version       

 成功回顯信息,hadoop配置完成。

四、本地模式運行wordcount 案例

創建input文件夾及wc.input 文件

# cd /usr/local/hadoop    

# mkdir wcinput              

# cd wcinput                   

# vim wc.input                

將以下內容寫入文件中:

hadoop
hadoop HDFS
aiden
guo xiangyue
mapreduce
HDFS guo aiden

回到Hadoop目錄

# cd /usr/local/hadoop     

執行程序

# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount wcinput wcoutput       

執行完畢,生成wcoutput 文件夾

 查看執行結果:

# cat wcoutput/*      


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM