Hadoop2.7.4安裝配置

1. Linux環境

2. Java環境

　　下載：　　下載網址：http://www.oracle.com/technetwork/java/javase/downloads/index.html

　　安裝：　　/usr目錄下新建java目錄　　mkdir

　　　　　　　將下載好的jdk復制到此目錄下解壓　　cp  tar -zxvf

　　配置：　　添加環境變量，/etc/prifile下添加以下內容

export JAVA_HOME=/usr/java/jdk-9.0.1
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:%{JAVA_HOME}/lib:%{JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

　　　　　　　讓配置文件生效　　

source /etc/profile

　　驗證：　　java -version

3. Hadoop安裝（2.7.4）

　　下載：　　下載網址：http://hadoop.apache.org/releases.html

　　安裝：　　將下載好的文件復制到想放的地方解壓，這里選擇/opt/hadoop目錄下

　　配置：　　./hadoop-2.7.4/etc/hadoop目錄下

　　　　　　　　hadoop-env.sh　　指定JAVA_HOME :

export JAVA_HOME=/usr/java/jdk-9.0.1

 　　　　　　　　core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop/tmp</value>
　　　　　　　　　 <description>namenode上本地的hadoop臨時文件夾</description>
        </property>
</configuration>

　　　　　　　　　hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>/opt/hadoop/dfs/name</value>
　　　　　　　　<description>namenode上存儲hdfs名字空間元數據</description>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>/opt/hadoop/hdfs/data</value>
　　　　　　　　<description>datanode上數據塊的物理存儲位置</description>
        </property>
</configuration>

 　　　　　　　　mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

 　　　　　　　　yarn-site.xml

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

 　　　　添加HADOOP_HOME環境變量，/etc/prifile下添加以下內容

export HADOOP_HOME=/opt/hadoop-2.9.0
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

　　啟動

　　修改權限：　　

$ chown -R jing /opt/hadoop

 　　格式化namenode：　

$ bin/hdfs namenode –format

　　啟動NameNode 和 DataNode 守護進程：

$ sbin/start-dfs.sh

 　　啟動ResourceManager 和 NodeManager 守護進程:

$ sbin/start-yarn.sh

 　　驗證：

$jps
24241 NodeManager
22482 NameNode
24355 Jps
22843 SecondaryNameNode
23932 ResourceManager
22639 DataNode

 4. Hbase(1.2.6)安裝

　　下載：　　http://mirrors.hust.edu.cn/apache/hbase/

　　安裝：　　將下載好的文件復制到想放的地方解壓，這里選擇/opt/hadoop目錄下　

　　配置：　　./hbase1.2.6目錄下

　　　　　　　　hbase-env.sh

export JAVA_HOME=/usr/java/jdk-9.0.1

export HBASE_MANAGES_ZK=true    //使用hbase自帶的zookeeper

 

　　　　　　　　hbase-site.xml

<configuration>
        <property>
                <name>hbase.tmp.dir</name>
                <value>/opt/hadoop/hbaseData</value>
        </property>//hbase臨時文件目錄
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://localhost:9000/hbase</value>
        </property>//hbase在HDFS上的主目錄，Master是namenode節點。
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>//true表示分布式
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>localhost</value>
        </property>//指定HRegionServer服務節點。
</configuration>

 

　　　　　　添加HBASE_HOME環境變量，/etc/prifile下添加以下內容

export HBASE_HOME=/opt/hadoop/hbase-1.2.6
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$HBASE_HOME/bin:$PATH

 

　　　　啟動：

　　　　　　啟動Hbase實例

#start-hbase.sh

 

 

 

　　　　　　查看是否啟動

$ jps
26323 HQuorumPeer
19827 HRegionServer
21014 ResourceManager
26390 HMaster
26552 Jps
20441 NameNode
20601 DataNode
20813 SecondaryNameNode

 

 

 

　參考：http://www.powerxing.com/install-hadoop/

　　　http://blog.csdn.net/looc_246437/article/details/70849067?utm_source=itdadao&utm_medium=referral