Hadoop的偽分布式安裝和部署的流程

1、准備工作

下載一些用到的命令

yum install -y vim 
yum install -y lrzsz 
yum install net-tools

目錄約定

/opt            #工作目錄
/opt/install    #安裝包
/opt/softwar    #軟件包
/opt/other      #其它
/opt/test       #測試

cd /opt
mkdir install software other test       #新建目錄

JDK安裝

cd /opt/install     #進入安裝包目錄
​
rz jdk-8u221-linux-x64.tar.gz   #上傳JDK
​
tar -zxvf jdk-8u221-linux-x64.tar.gz  #解壓JDK
​
mv jdk1.8.0_221 jdk1.8      #改名為JDK1.8
​
mv jdk1.8 ../software   #移動到/opt/software目錄
​

配置jdk環境變量

vim /etc/profile      #編輯環境變量
​
JAVA_HOME=/opt/software/jdk1.8           #添加JAVA_HOME變量 
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
​
source /etc/profile   #生效配置

修改主機名

vim /etc/hostname   #編輯主機名
​
hdp01  #主機名以hdp01為例

修改主機映射

vim /etc/hosts    #編輯主機映射
​
192.168.0.32  hdp01     #主機的ip對應主機名 

配置免密登錄

ssh-keygen      #生成公鑰
​
ssh-copy-id hdp01  #設置自己為免密登錄

2、下載安裝偽分布式

hadoop安裝

cd /opt/install        #進入安裝包目錄

rz hadoop-2.7.7.tar.gz    #上傳hadoop

tar -zxvf hadoop-2.7.7.tar.gz  #解壓hadoop

mv hadoop-2.7.7 ../software    #移動到/opt/software目錄

修改hadoop的6個配置文件

cd /opt/software/hadoop-2.7.7/etc/hadoop    #進入配置文件目錄

hadoop-env.sh

vim hadoop-env.sh        #編輯配置文件hadoop-env.sh

export JAVA_HOME=/opt/software/jdk1.8  #修改25行

export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop  #修改33行

core-site.xml

vim    core-site.xml         #編輯配置文件core-site.xml

<configuration>
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hdp01:9000</value>  #hdp01為 主機名
    </property>
    
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/software/hadoop-2.7.7/tmp</value>
    </property>

</configuration>

hdfs-site.xml

vim    hdfs-site.xml         #編輯配置文件hdfs-site.xml

<configuration>
       <property>
         <name>dfs.replication</name>
         <value>1</value>
        </property>
</configuration>        

mapred-site.xml

cp mapred-site.xml.template  mapred-site.xml    #拷貝例子
vim mapred-site.xml         #編輯配置文件mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

vim yarn-site.xml         #編輯配置文件yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hdp01</value>                            #hdp01為主機名
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

slaves

vim slaves         #編輯配置文件slaves

hdp01        #主機名

配置hadoop的環境變量

vim /etc/profile        #編輯環境變量

JAVA_HOME=/opt/software/jdk1.8
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
HADOOP_HOME=/opt/software/hadoop-2.7.7
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 

source /etc/profile        #生效配置

格式化文件系統

hadoop namenode -format

運行服務器

start-all.sh  #開啟
stop-all.sh  #關閉

查看系統端口

netstat -nltup