Hadoop與hbase單機環境安裝

一、Linux系統設置

1，關閉防火牆

關閉防火牆，方便外部訪問。
CentOS 7版本以下輸入:
關閉防火牆

service   iptables stop

CentOS 7 以上的版本輸入：

systemctl   stop   firewalld.service

2，時間設置

輸入:

date

查看服務器時間是否一致，若不一致則更改
更改時間命令

date -s ‘MMDDhhmmYYYY.ss’

二、Hadoop環境安裝

1，下載jdk、hadoop

將下載下來的 jdk、hadoop 解壓包放在home 目錄下
並新建java、hadoop文件夾

3.1.1解壓文件

輸入:
tar -xvf jdk-8u144-linux-x64.tar.gz
tar -xvf hadoop-2.7.2.tar.gz
解壓jdk和hadoop ,分別移動文件到java和hadoop文件下，
並將文件夾重命名為jdk1.8和hadoop2.7

2，JDK環境配置

首先輸入

java -version

查看是否安裝了JDK，如果安裝了，但版本不適合的話，就卸載

3.2.1 profile 文件更改

編輯 /etc/profile 文件
輸入:

vim /etc/profile

整體的配置文件:

export JAVA_HOME=/home/java/jdk1.8

export JRE_HOME=/home/java/jdk1.8/jre

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

export PATH=.:${JAVA_HOME}/bin:$PATH

注: JAVA_HOME的路徑是 JDK的路徑

使用vim 編輯之后 記得輸入

source /etc/profile

使配置生效

配置完后，輸入java -version 查看版本信息

3，Hadoop 環境配置

3.3.1 profile 文件更改

編輯 /etc/profile 文件
輸入:

vim /etc/profile

整體的配置文件:

export HADOOP_HOME=/home/hadoop/hadoop2.7

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

輸入:

source  /etc/profile

使配置生效

修改配置文件

3.3.2新建文件夾

在修改配置文件之前，現在root目錄下建立一些文件夾。
輸入:

mkdir  /root/hadoop 

mkdir  /root/hadoop/tmp 

mkdir  /root/hadoop/var 

mkdir  /root/hadoop/dfs 

mkdir  /root/hadoop/dfs/name 

mkdir  /root/hadoop/dfs/data

注:在root目錄下新建文件夾是防止被莫名的刪除。

首先切換到 /home/hadoop/hadoop2.7/etc/hadoop/ 目錄下

3.3.3修改 core-site.xml

輸入:

vim core-site.xml

在<configuration>添加:

<configuration>

<property>

        <name>hadoop.tmp.dir</name>

        <value>/root/hadoop/tmp</value>

        <description>Abase for other temporary directories.</description>

   </property>

   <property>

        <name>fs.default.name</name>

        <value>hdfs://test1:9000</value>

   </property>

</configuration>

說明: test1 可以替換為主機的ip。

3.3.4修改 hadoop-env.sh

輸入:

vim hadoop-env.sh

將${JAVA_HOME} 修改為自己的JDK路徑

export   JAVA_HOME=${JAVA_HOME}

修改為：

export   JAVA_HOME=/home/java/jdk1.8

 

3.4.5修改 hdfs-site.xml

輸入:

vim hdfs-site.xml

在<configuration>添加:

<property>

   <name>dfs.name.dir</name>

   <value>/root/hadoop/dfs/name</value>

   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>

</property>

<property>

   <name>dfs.data.dir</name>

   <value>/root/hadoop/dfs/data</value>

   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>

</property>

<property>

   <name>dfs.replication</name>

   <value>2</value>

</property>

<property>

      <name>dfs.permissions</name>

      <value>false</value>

      <description>need not permissions</description>

</property>

 

說明：dfs.permissions配置為false后，可以允許不要檢查權限就生成dfs上的文件，方便倒是方便了，但是你需要防止誤刪除，請將它設置為true，或者直接將該property節點刪除，因為默認就是true。

3.4.6 修改mapred-site.xml

如果沒有 mapred-site.xml 該文件，就復制mapred-site.xml.template文件並重命名為mapred-site.xml。
輸入:

vim mapred-site.xml

修改這個新建的mapred-site.xml文件，在<configuration>節點內加入配置:

<property>

    <name>mapred.job.tracker</name>

    <value>test1:9001</value>

</property>

<property>

      <name>mapred.local.dir</name>

       <value>/root/hadoop/var</value>

</property>

<property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

</property>

 

使用的命令:

到此 Hadoop 的單機模式的配置就完成了。

 

4，hadoop啟動

第一次啟動Hadoop需要初始化
切換到 /home/hadoop/hadoop2.7/bin目錄下輸入

  ./hadoop  namenode  -format

初始化成功后，可以在/root/hadoop/dfs/name 目錄下(該路徑在hdfs-site.xml文件中進行了相應配置，並新建了該文件夾)新增了一個current 目錄以及一些文件。

啟動Hadoop 主要是啟動HDFS和YARN
切換到/home/hadoop/hadoop2.7/sbin目錄
啟動HDFS
輸入:

start-dfs.sh

登錄會詢問是否連接，輸入yes ，然后輸入密碼就可以了

啟動YARN
輸入:

start-yarn.sh

 

可以輸入 jps 查看是否成功啟動

HDFS測試地址在瀏覽器輸入:
http://虛擬機IP:8088/cluster (http://192.168.8.161:8088/cluster)

YARN測試地址在瀏覽器輸入(單機服務下Namenode和JobTrack沒有打開訪問不了):
http://虛擬機IP:50070/ (http://192.168.8.161:50070)

 

三、Hbase環境安裝

1.下載hbase-0.94.3.tar.gz並解壓
2.修改conf/hbase-env.sh:

　　①去掉JAVA_HOME一句的#並且指定自己的jdk路徑

　　②找到 export HBASE_MANAGES_ZK=true 這一句，去掉#

3.修改conf/hbase-site.xml,修改為:(XXX替換過為自己的ubuntu用戶名)    ("/home/XXX/hbase_data/hbase"這個路徑可以自定義為其他路徑，但是一定要確認當前用戶有訪問權限)

 

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>

<configuration>

  <property>

   <name>hbase.rootdir</name>

    <value>file:/home/XXX/hbase_data/hbase</value>

  </property>

</configuration>

 

4.進入bin目錄執行start-hbase.sh啟動HBase,安裝啟動完成。

5.檢驗HBase是否正常啟動:

　　①在bin目錄執行hbase shell，正常的話會進入hbase命令行模式，即  hbase(main):001:0> 

　　②輸入 create 'user' ,'personalinfo',正常的話會出現類似   0 row(s) in 1.3200 seconds   這樣的結果

　　③繼續輸入 list,正常的話會列出我們剛剛創建的user表

備注：如果在以上操作步驟中出現了異常，請進入logs目錄找到一個后綴為.log的文件，自行查看這個文件中的錯誤信息，不能自行解決的話就google一下。

大概講解下安裝過程中的各修改的目的：

　　2.①是指定HBase所使用的jdk,應該是jdk1.7+

　　2.②是讓HBase使用自己托管的zookeeper

　　3是指定HBase的數據文件路徑，默認會存放到系統tmp路徑中，這樣每次重啟后HBase中的數據就被清空了。