Hbase分布式安裝

目標

在兩台機器上安裝Hadoop和HBase作為實驗，兩台機器分別作為主從。

背景環境

對Hadoop,HBase有一定了解
Fedora14
JDK 1.6.0_31
Hadoop 0.20.205.0
HBase 0.90.5

安裝Hadoop

參考：

拓撲結構：兩台機器，主機名分別為：summer1,summer2,

summer1為NameNode + JobTracker + DataNode + TaskTracker, summer2僅為DataNode + TaskTracker

一定要下載 0.20.205.0 以后版本，合並了可以和 HBase 兼容的代碼分支 0.20-append。啟動的時候會報很多Warning $HADOOP_HOME deprecated blahblah，不需理會。
如果用 bin/start-all 偷懶方式啟動，有可能因為配置錯誤什么的導致某些服務起不來，但不會有任何錯誤提示。最好使用 netstat -nlp | grep java 看下端口號50030, 50010, 50070, 還有JobTracker的自定義端口是否已經被監聽了，如果沒有，可以用對應的啟動腳本單獨啟動，這樣會輸出具體的錯誤。

安裝HBase

前提：必須已經正確安裝了Hadoop，但可以不啟動JobTracker，HBase有自己的MapRed

拓撲結構：summer1為master， summer2均為regionserver

主要參考：

官方文檔 http://hbase.apache.org/book.html

安裝步驟：

1.解壓hbase-0.90.5.tar.gz到usr/local/hbase。

2.設置環境變量，如下：

export JAVA_HOME=/usr/local/java/jdk1.6.0_31
export JRE_HOME=/usr/local/java/jdk1.6.0_31/jre
export CLASS_PATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASS_PATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_PID_DIR=$HADOOP_HOME/run/tmp

#hbase環境變量－－－－－－－－－－－－－－－－－－－－－－－
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin
export HBASE_PID_DIR=$HBASE_HOME/run/tmp
#－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

3.修改hbase-env.sh ，只需要改動下面列出的四項，其他保持不變即可。

# The java implementation to use.  Java 1.6 required.
 export JAVA_HOME=/usr/local/java/jdk1.6.0_31

# Extra Java CLASSPATH elements.  Optional.
export HBASE_CLASSPATH=/usr/local/hadoop/conf

# The directory where pid files are stored. /tmp by default.
 export HBASE_PID_DIR=$HBASE_HOME/run/tmp

# Tell HBase whether it should manage it's own instance of Zookeeper or not.
 export HBASE_MANAGES_ZK=true

4.修改conf/hbase-site.xml

<configuration>
  <property>
    <name>hbase.master</name>
    <value>summer1:60000</value>
  </property>
  <property>
    <name>hbase.master.port</name>
    <value>60000</value>
    </property>
    <property>
    <name>hbase.rootdir</name>
    <value>hdfs://summer1:9000/hbase</value>
  </property>  
 <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>   
  </property>
   <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>    
  </property>
   <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>10.0.5.199</value>
  </property> 
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/summer/hadoopTMP/storage/zookeeper</value>

  </property>
  <property>
    <name>zookeeper.session.timeout</name>
    <value>1200000</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.tickTime</name>
    <value>6000</value>
  </property>
</configuration>

hdfs://summer1:9000/hbase這里，必須與你的Hadoop集群的core-site.xml文件配置保持完全一致才行，如果你Hadoop的hdfs使用了其它端口，請在這里也修改。有人說,這里的設置，只能使用機器hostname才可行，不識別機器IP，即若使用summer1的IP(10.0.5.199)是會拋出java錯誤，其實並不是這樣的，用ip地址也可以，只是建議使用hostname,這樣，當ip地址改變時，不需要改變hadoop的配置文件，只需要改變 hosts映射關系即可。

5.拷貝 hadoop/lib/commons-configuration-1.6.jar到hbase/lib/commons-configuration-1.6.jar

6.查看hbase/lib下有一項hadoop-core-0.20.append.jar,最好替換成hadoop/lib/hadoop-core-0.20.205.0.jar

7.啟動hadoop和hbase---------------------------注意啟動順序，先啟動hadoop，再啟動hbase

$start-all.sh -----------------------啟動hadoop

$start-hbase.sh -------------------啟動hbase

如果配置正確,在hbase啟動以后，在namenode和datanode上使用jps命令查看，在namenode上可看到 JobTracker,SecondaryNameNode,NameNode,Jps,HMaster,在datanode上可看到HRegionServer,TaskTracker,Jps,DataNode。並且訪問http://10.0.5.199:50070，點擊"Browse the filesystem",可以看到出現了一個hbase目錄，如下圖所示：（如果沒有hbase目錄，那肯定是hbase沒有配置成功）

8.停止hbase--------------注意停止順序，先停止hbase，再停止hadoop,否則可能導致hbase停止不了。

$stop-hbase.sh

$stop-all.sh

碰到的各種問題：

官方文檔里說明了HBase與Hadoop的適配版本，主要是 0.20-append 分支是否合並進hadoop主干的問題。hadoop 0.20.205.0 已經合並，所以一定要用 0.20.205.0 以后版本的hadoop。
官方文檔里提到的需要替換 lib/hadoop-core-….jar 的問題一定要做。否則啟動時會出現 EOFException。由於實際版本號不同，所以直接把原jar移走，新jar放入即可。
0.20.205.0 需要同時把 hadoop/lib 里的commons-configuration-1.6.jar 也考到 hbase/lib里。否則啟動master時會出現master.HMaster exception of “NoClassDefFoundError”
bin/start-hbase 會自動啟動一個zookeeper。當然可以自行配置zookeeper。
bin/stop-hbase 貌似只會停止zookeeper和master, 在 B(master)上會遺留 regionserver，可以kill 進程或者 bin/hbase-daemon.sh stop regionserver
同樣使用 netstat -nlp | grep java 檢查端口號，HBase相關服務端口均以 600開頭。
如果因為停止順序不對導致hbase停止不了，可以通過下列方法強行kill掉hbase守護進程來停止，

$netstat -nlp | grep java---------------------------------查找守護進程（Hmaster端口號為60000）對應的進程號,如下圖所示查找到進程號1 5562

$sudo kill -9 15562 -----------------------------------------殺死進程

　　或者直接使用jps，每行中的數字即為進程號，直接使用上面命令kill掉即可。

　　8.啟動HBase的時候，無法啟動RegionServer，查看日志，錯誤如下:

　　org.apache.hadoop.hbase.ClockOutOfSyncException: Server summer1,60020,1357384944077 has been rejected; Reported time is too far out of sync with master. Time difference of 3549899ms > max allowed of 30000ms

　　　原因是RegionServer與Master的時間不一致造成的，由錯誤內容可以看出兩台機器之間最大的誤差時間為30000ms,一旦超過這個值便無法啟動。

　　解決方法：在所有結點上執行：sudo ntpdate time.nist.gov （time.nist.gov是一個時間服務器）

目標

背景環境

安裝Hadoop

安裝HBase

免責聲明！