最近學習大數據相關的知識,便於對學習知識進行整理記憶,特將學習過程中的一些內容記錄於此。
本地環境:
Linux系統:Centos 7(最小安裝)
內存:4G
CPU: 2
網卡:2(IP:10.0.2.5、192.168.56.200)
JDK版本:1.8
Hadoop版本:3.2.1
一、虛擬機環境准備
在宿主機中創建符合上述規格的虛擬機一台,並設置IP。
修改主機名:
# hostnamectl set-hostname hadoop200
關閉防火牆:
# systemctl stop firewalld
禁止防火牆開機啟動:
# systemctl disable firewalld
查看防火牆狀態:
# systemctl status firewalld
二、安裝JDK
參考博文:https://www.cnblogs.com/guoxiangyue/p/9633063.html
三、安裝hadoop
下載hadoop 3.2.1 ,
下載地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
下載完成后,將hadoop-3.2.1.tar.gz上傳至Linux機器的 /usr/local 目錄下:
解壓安裝包:
# tar -zvxf hadoop-3.2.1.tar.gz
# mv hadoop-3.2.1 hadoop
將hadoop添加環境變量
# vim /etc/profile
將以下內容添加到該文件中:
export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
保存退出
使配置生效
# source /etc/profile
測試是否安裝成功
# hadoop version
成功回顯信息,hadoop配置完成。
四、本地模式運行wordcount 案例
創建input文件夾及wc.input 文件
# cd /usr/local/hadoop
# mkdir wcinput
# cd wcinput
# vim wc.input
將以下內容寫入文件中:
hadoop
hadoop HDFS
aiden
guo xiangyue
mapreduce
HDFS guo aiden
回到Hadoop目錄
# cd /usr/local/hadoop
執行程序
# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount wcinput wcoutput
執行完畢,生成wcoutput 文件夾
查看執行結果:
# cat wcoutput/*