centos7配置hadoop


hadoop壓縮包下載:

鏈接:https://pan.baidu.com/s/1dz0Hh75VNKEebcYcbN-4Hw
提取碼:g2e3
java壓縮包下載:

鏈接:https://pan.baidu.com/s/1DriDVSKQWAQme0QuoiEnQg
提取碼:cmag

centos7的安裝和配置可以再網上搜到,但是在安裝的時候一定要注意要選擇圖形化界面安裝,這樣在進行后續的操作的時候比較方便

本人實在vbox上面安裝的

ip地址的配置:https://www.cnblogs.com/xuzhaoyang/p/11264573.html由於centos采用的小紅帽的內核所以在文件的結構上大同小異

然后配置本地的yum源,首先將盤片掛載到虛擬機上面之后
mkdir /mnt/cdrom 
mount /dev/cdrom /mnt/cdrom

然后將/etc/yum.repos.d路徑下的文件都刪除,然后創建本地的yum源

vi /etc/yum.repos.d/CentOS-local.repo

文件里面輸入

[base-local]#這個是本源的名字,不能和其他的重復(隨便,不重復)
name=CentOS-local #名字(隨便)
baseurl=file:///mnt/cdrom #上方步驟一掛載鏡像創建的目錄
enabled=1 #yum源是否啟用 1-啟用 0-不啟用
gpgcheck=1 #安全檢測 1-開啟 0-不開啟
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
然后保存,這樣本地的yum源就配置好了

一、            安裝ssh免密登錄

命令:ssh-keygen

overwrite(覆蓋寫入)輸入y

一路回車

 

 

將生成的密鑰發送到本機地址

ssh-copy-id localhost

 

 

(若報錯命令無法找到則需要安裝openssh-clients)

yum –y install openssh-clients

測試免密設置是否成功

ssh localhost date

 卸載已有java

確定JDK版本

rpm –qa | grep jdk

rpm –qa | grep gcj

如果有版本號的話,

切換到root用戶,根據結果卸載java

yum -y remove java-1.8.0-openjdk-headless.x86_64

yum -y remove java-1.7.0-openjdk-headless.x86_64

 

 

一、            安裝java

切換回hadoop用戶,命令:su hadoop

查看下當前目標文件,命令:ls,查看當前路徑下的文件

新建一個app文件夾,命令:mkdir app

 

 

將桌面的hadoop文件夾中的java及hadoop安裝包移動到app文件夾中,可以使用Xftp進行傳輸,Xftp使用步驟參考:https://www.cnblogs.com/xuzhaoyang/p/11264587.html

解壓java程序包,命令:tar –zxvf jdk-7u79-linux-x64.tar.gz

創建軟連接

ln –s jdk1.8.0_141  jdk

 

 

 

配置jdk環境變量

切換到root用戶

再輸入vi  /etc/profile

輸入

export  JAVA_HOME=/home/hadoop/app/jdk1.8.0_141

export JAVA_JRE=JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_JRE/lib

export PATH=$PATH:$JAVA_HOME/bin

保存退出,並使/etc/profile文件生效

source  /etc/profile

能查詢jdk版本號,說明jdk安裝成功

java  -version

 

 

安裝hadoop

切換回hadoop用戶,解壓縮hadoop-2.6.0.tar.gz安裝包

創建軟連接,命令:ln  -s   hadoop-2.7.0   hadoop

然后驗證單機模式的Hadoop是否安裝成功,命令:

hadoop/bin/hadoop  version

 

 

配置偽分布式登錄

進入hadoop/etc/hadoop目錄,修改相關配置文件

cd etc/

cd hadoop/

修改core-site.xml配置文件

<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/data/tmp</value>
</property>
<property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
</property>
<property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
</property>
</configuration>

  

修改hdfs-site.xml配置文件

<configuration>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop /data/dfs/name</value>
        <final>true</final>
</property>
<property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop /data/dfs/data</value>
        <final>true</final>
</property>
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
<property>
        <name>dfs.permissions</name>
        <value>false</value>
</property>
</configuration>

修改hadoop-env.sh配置文件 vi ~/app/Hadoop/etc/Hadoop/Hadoop-env.sh

 

修改mapred-site.xml.template配置文件

<configuration>
<property>
        <name>mapreduce.frameword.name</name>
        <value>yarn</value>
</property>
</configuration>

修改yarn-site.xml配置文件

<property>
        <name>yarn.nodemanager.aux-servies</name>
        <value>mapreduce_shuffle</value>
</property>
</configuration>

配置hadoop環境變量 vi ~/.bashrc

JAVA_HOME=/home/localhost/app/jdk
HADOOP_HOME=/home/localhost/app/hadoop
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH HADOOP_HOME

使修改生效,命令:source  ~/.bashrc

在hadoop相關配置文件中配置了多個數據目錄,提前建立這些文件夾

 

 

格式化namenode

在啟動hadoop集群前需要格式化namenode。需要注意的是,第一次安裝Hadoop集群的時候需要格式化Namenode,以后直接啟動Hadoop集群即可,不需要重復格式化Namenode。

切回到hadoop目錄,輸入如下命令:

bin/hdfs  namenode -format

 

 

啟動hadoop偽分布式集群

sbin/start-all.sh

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM