HBase的安裝、配置與實踐

 本教程運行環境是在Ubuntu-64位系統下，HBase版本為hbase-1.1.2，這是目前已經發行的已經編譯好的穩定的版本，帶有src的文件是未編譯的版本，這里我們只要下載bin版本hbase-1.1.2-bin.tar.gz就好了。

下載地址：http://archive.apache.org/dist/hbase/

本文參考原文地址：https://dblab.xmu.edu.cn/blog/install-hbase/

一、 HBase安裝及配置

   1. HBase安裝                                     

1.1 解壓安裝包hbase-1.1.2-bin.tar.gz至路徑 /usr/local，命令如下：

1.2 將解壓的文件名hbase-1.1.2改為hbase，以方便使用，命令如下：

1.3 配置環境變量
將hbase下的bin目錄添加到path中，這樣，啟動hbase就無需到/usr/local/hbase目錄下，大大的方便了hbase的使用。教程下面的部分還是切換到了/usr/local/hbase目錄操作，有助於初學者理解運行過程，熟練之后可以不必切換。
編輯~/.bashrc文件

 如果沒有引入過PATH請在~/.bashrc文件尾行添加如下內容：

如果已經引入過PATH請在export PATH這行追加/usr/local/hbase/bin，這里的“：”是分隔符。如下圖：

 編輯完成后，再執行source命令使上述配置在當前終端立即生效，命令如下：

 

1.4 添加HBase權限

 

本句意思是將hbase下的所有文件的所有者改為hadoop，hadoop是當前用戶的用戶名。

 

 1.5 查看HBase版本，確定hbase安裝成功,命令如下：

 

命令執行后，輸出信息截圖如下：

看到以上輸出消息表示HBase已經安裝成功，接下來將分別進行HBase單機模式和偽分布式模式的配置。

 

   2. HBase配置                      

 HBase有三種運行模式，單機模式、偽分布式模式、分布式模式。作為學習，我們重點討論單機模式和偽分布式模式。
以下先決條件很重要，比如沒有配置JAVA_HOME環境變量，就會報錯。
– jdk
– Hadoop( 單機模式不需要，偽分布式模式和分布式模式需要)
– SSH

必須保證這三項均已安裝成功，再繼續下面的操作。

    2.1單機模式配置                    

1. 配置/usr/local/hbase/conf/hbase-env.sh 。配置JAVA環境變量，並添加配置HBASE_MANAGES_ZK為true，用vi命令打開並編輯hbase-env.sh，命令如下：

配置JAVA環境變量，jdk的安裝目錄默認是 /usr/lib/jvm/java-1.7.0-openjdk， 則JAVA _HOME =/usr/lib/jvm/java-7-openjdk-amd64，其中java-1.7.0-openjdk是你的jdk版本；配置HBASE_MANAGES_ZK為true，表示由hbase自己管理zookeeper，不需要單獨的zookeeper。hbase-env.sh中本來就存在這些變量的配置，大家只需要刪除前面的#並修改配置內容即可(#代表注釋)：

 

添加完成后保存退出即可。

2. 配置/usr/local/hbase/conf/hbase-site.xml
打開並編輯hbase-site.xml，命令如下：

在啟動HBase前需要設置屬性hbase.rootdir，用於指定HBase數據的存儲位置，

因為如果不設置的話，hbase.rootdir默認為/tmp/hbase-${user.name},這意味着每次重啟系統都會丟失數據。

此處設置為HBase安裝目錄下的hbase-tmp文件夾即（/usr/local/hbase/hbase-tmp）,添加配置如下：

 

3. 接下來測試運行。首先切換目錄至HBase安裝目錄/usr/local/hbase；再啟動HBase。命令如下：

 注意先啟動hadoop   ， start-dfs.sh

 

上述三條命令中，sudo bin/start-hbase.sh用於啟動HBase，bin/hbase shell用於打開shell命令行模式，用戶可以通過輸入shell命令操作HBase數據庫。

成功啟動HBase，截圖如下：

 

停止HBase運行,命令如下：

注意：如果在操作HBase的過程中發生錯誤，可以通過{HBASE_HOME}目錄（/usr/local/hbase）下的logs子目錄中的日志文件查看錯誤原因。

 

    2.2 偽分布式模式配置                      

1.配置/usr/local/hbase/conf/hbase-env.sh。命令如下：

配置JAVA_HOME，HBASE_CLASSPATH，HBASE_MANAGES_ZK.
HBASE_CLASSPATH設置為本機Hadoop安裝目錄下的conf目錄（即/usr/local/hadoop/conf）

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HBASE_CLASSPATH=/usr/local/hadoop/conf

export HBASE_MANAGES_ZK=true

 

 2.配置/usr/local/hbase/conf/hbase-site.xml
用命令vi打開並編輯hbase-site.xml，命令如下：

修改hbase.rootdir，指定HBase數據在HDFS上的存儲路徑；將屬性hbase.cluter.distributed設置為true。假設當前Hadoop集群運行在偽分布式模式下，在本機上運行，且NameNode運行在9000端口。

<configuration>
　　<property>
　　　　<name>hbase.rootdir</name>
　　　　<value>hdfs://localhost:9000/hbase</value>
　　</property>
　　<property>
　　　　<name>hbase.cluster.distributed</name>
　　　　<value>true</value>
　　</property>
</configuration>

 hbase.rootdir指定HBase的存儲目錄；hbase.cluster.distributed設置集群處於分布式模式.
截圖如下：

3. 接下來測試運行HBase。
第一步：首先登陸ssh，之前設置了無密碼登陸，因此這里不需要密碼；再切換目錄至/usr/local/hadoop ；再啟動hadoop，如果已經啟動hadoop請跳過此步驟。命令如下：

 

輸入命令jps，能看到NameNode,DataNode和SecondaryNameNode都已經成功啟動，表示hadoop啟動成功，截圖如下：

第二步：切換目錄至/usr/local/hbase;再啟動HBase.命令如下：

 

啟動成功，輸入命令jps，看到以下界面說明hbase啟動成功

 

進入shell界面：

4.停止HBase運行,命令如下：

　　bin/stop-hbase.sh

 

   二、 編程實踐                                              

   1. 利用Shell命令                                     

   1.1 HBase中創建表                

HBase中用create命令創建表，具體如下：

　　create 'student','Sname','Ssex','Sage','Sdept','course'

命令執行截圖如下：

此時，即創建了一個“student”表，屬性有：Sname,Ssex,Sage,Sdept,course。因為HBase的表中會有一個系統默認的屬性作為行鍵，無需自行創建，默認為put命令操作中表名后第一個數據。創建完“student”表后，可通過describe命令查看“student”表的基本信息。命令執行截圖如下：

 

   1.2 HBase數據庫基本操作                              

本小節主要介紹HBase的增、刪、改、查操作。在添加數據時，HBase會自動為添加的數據添加一個時間戳，故在需要修改數據時，只需直接添加數據，HBase即會生成一個新的版本，從而完成“改”操作，舊的版本依舊保留，系統會定時回收垃圾數據，只留下最新的幾個版本，保存的版本數可以在創建表的時候指定。 

• 添加數據
  HBase中用put命令添加數據，注意：一次只能為一個表的一行數據的一個列，也就是一個單元格添加一個數據，所以直接用shell命令插入數據效率很低，在實際應用中，一般都是利用編程操作數據。
  當運行命令：put 'student','95001','Sname','LiYing'時，即為student表添加了學號為95001，名字為LiYing的一行數據，其行鍵為95001。

運行put 'student','95001','course:math','80'

即為95001行下的course列族的math列添加了一個數據。

 

 

• 查看數據
  HBase中有兩個用於查看數據的命令：1. get命令，用於查看表的某一行數據；2. scan命令用於查看某個表的全部數據

1. get命令

　　get 'student','95001'

 命令執行截圖如下， 返回的是‘student’表‘95001’行的數據。

 

2. scan命令

　　scan 'student'

命令執行截圖如下， 返回的是‘student’表的全部數據。

 

• 刪除數據

在HBase中用delete以及deleteall命令進行刪除數據操作，它們的區別是：1. delete用於刪除一個數據，是put的反向操作；2. deleteall操作用於刪除一行數據。

1. delete命令

　　delete 'student','95001','Sname'

 命令執行截圖如下， 即刪除了student表中95001行下的Sname列的所有數據。

 

2. deleteall命令

 　　deleteall 'student','95001'

 命令執行截圖如下，即刪除了student表中的95001行的全部數據。

 

 

• 刪除表
  刪除表有兩步，第一步先讓該表不可用，第二步刪除表。

 　　disable 'student'

　　drop 'student'

 命令執行截圖如下：

 

   1.3 查詢表歷史數據                            

 查詢表的歷史版本，需要兩步。
1、在創建表的時候，指定保存的版本數（假設指定為5）

　　 create 'teacher',{NAME=>'username',VERSIONS=>5}

2、插入數據然后更新數據，使其產生歷史版本數據，注意：這里插入數據和更新數據都是用put命令

put 'teacher','91001','username','Mary'
put 'teacher','91001','username','Mary1'
put 'teacher','91001','username','Mary2'
put 'teacher','91001','username','Mary3'
put 'teacher','91001','username','Mary4'
put 'teacher','91001','username','Mary5'

 

 

3、查詢時，指定查詢的歷史版本數。默認會查詢出最新的數據。（有效取值為1到5）

 　　get 'teacher','91001',{COLUMN=>'username',VERSIONS=>5}

 查詢結果截圖如下：

 

1.4 退出HBase數據庫表操作

 最后退出數據庫操作，輸入exit命令即可退出，注意：這里退出HBase數據庫是退出對數據庫表的操作，而不是停止啟動HBase數據庫后台運行。

 

 

   2. Java API編程實例                   

本實例使用Eclipse編寫java程序，來對HBase數據庫進行增刪改查等操作，Eclipse可以在Ubuntu軟件中心搜索下載並安裝。
第一步：啟動hadoop，啟動hbase

cd /usr/local/hadoop

./sbin/start-dfs.sh

cd /usr/local/hbase

./bin/start-hbase.sh

第二步，新建Java Project——>新建Class

第三步：在工程中導入外部jar包：
這里只需要導入hbase安裝目錄中的lib文件中的所有jar包。
新版的Hbase 1.1.2的java api已經發生變化，舊版的部分api已經停止使用

 

這里給出一個編程實例,，以下是源代碼：

 

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import java.io.IOException;

public class ExampleForHbase {
    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;
    
    //主函數中的語句請逐句執行，只需刪除其前的//即可，如：執行insertRow時請將其他語句注釋
    public static void main(String[] args)throws IOException{
        //創建一個表，表名為Score，列族為sname,course
        //createTable("Score",new String[]{"sname","course"});
 
        //在Score表中插入一條數據，其行鍵為95001,sname為Mary（因為sname列族下沒有子列所以第四個參數為空）
        //等價命令：put 'Score','95001','sname','Mary'
        insertRow("Score", "95001", "sname", "", "Mary");
        //在Score表中插入一條數據，其行鍵為95001,course:Math為88（course為列族，Math為course下的子列）
        //等價命令：put 'Score','95001','score:Math','88'
        //insertRow("Score", "95001", "course", "Math", "88");
        //在Score表中插入一條數據，其行鍵為95001,course:English為85（course為列族，English為course下的子列）
        //等價命令：put 'Score','95001','score:English','85'
        //insertRow("Score", "95001", "course", "English", "85");
 
        //1、刪除Score表中指定列數據，其行鍵為95001,列族為course，列為Math
        //執行這句代碼前請deleteRow方法的定義中，將刪除指定列數據的代碼取消注釋注釋，將刪除制定列族的代碼注釋
        //等價命令：delete 'Score','95001','score:Math'
        //deleteRow("Score", "95001", "course", "Math");
 
        //2、刪除Score表中指定列族數據，其行鍵為95001,列族為course（95001的Math和English的值都會被刪除）
        //執行這句代碼前請deleteRow方法的定義中，將刪除指定列數據的代碼注釋，將刪除制定列族的代碼取消注釋
        //等價命令：delete 'Score','95001','score'
        //deleteRow("Score", "95001", "course", "");
 
        //3、刪除Score表中指定行數據，其行鍵為95001
        //執行這句代碼前請deleteRow方法的定義中，將刪除指定列數據的代碼注釋，以及將刪除制定列族的代碼注釋
        //等價命令：deleteall 'Score','95001'
        //deleteRow("Score", "95001", "", "");
 
        //查詢Score表中，行鍵為95001，列族為course，列為Math的值
        //getData("Score", "95001", "course", "Math");
        //查詢Score表中，行鍵為95001，列族為sname的值（因為sname列族下沒有子列所以第四個參數為空）
        //getData("Score", "95001", "sname", "");
 
        //刪除Score表
        //deleteTable("Score");
    }
 
    //建立連接
    public static void init(){
        configuration  = HBaseConfiguration.create();
        configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
        try{
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        }catch (IOException e){
            e.printStackTrace();
        }
    }
    //關閉連接
    public static void close(){
        try{
            if(admin != null){
                admin.close();
            }
            if(null != connection){
                connection.close();
            }
        }catch (IOException e){
            e.printStackTrace();
        }
    }
 
    /**
     * 建表。HBase的表中會有一個系統默認的屬性作為主鍵，主鍵無需自行創建，默認為put命令操作中表名后第一個數據，因此此處無需創建id列
     * @param myTableName 表名
     * @param colFamily 列族名
     * @throws IOException
     */
    public static void createTable(String myTableName,String[] colFamily) throws IOException {
 
        init();
        TableName tableName = TableName.valueOf(myTableName);
 
        if(admin.tableExists(tableName)){
            System.out.println("talbe is exists!");
        }else {
            HTableDescriptor hTableDescriptor = new HTableDescriptor(tableName);
            for(String str:colFamily){
                HColumnDescriptor hColumnDescriptor = new HColumnDescriptor(str);
                hTableDescriptor.addFamily(hColumnDescriptor);
            }
            admin.createTable(hTableDescriptor);
            System.out.println("create table success");
        }
        close();
    }
    /**
     * 刪除指定表
     * @param tableName 表名
     * @throws IOException
     */
    public static void deleteTable(String tableName) throws IOException {
        init();
        TableName tn = TableName.valueOf(tableName);
        if (admin.tableExists(tn)) {
            admin.disableTable(tn);
            admin.deleteTable(tn);
        }
        close();
    }
 
    /**
     * 查看已有表
     * @throws IOException
     */
    public static void listTables() throws IOException {
        init();
        HTableDescriptor hTableDescriptors[] = admin.listTables();
        for(HTableDescriptor hTableDescriptor :hTableDescriptors){
            System.out.println(hTableDescriptor.getNameAsString());
        }
        close();
    }
    /**
     * 向某一行的某一列插入數據
     * @param tableName 表名
     * @param rowKey 行鍵
     * @param colFamily 列族名
     * @param col 列名（如果其列族下沒有子列，此參數可為空）
     * @param val 值
     * @throws IOException
     */
    public static void insertRow(String tableName,String rowKey,String colFamily,String col,String val) throws IOException {
        init();
        Table table = connection.getTable(TableName.valueOf(tableName));
        Put put = new Put(rowKey.getBytes());
        put.addColumn(colFamily.getBytes(), col.getBytes(), val.getBytes());
        table.put(put);
        table.close();
        close();
    }
 
    /**
     * 刪除數據
     * @param tableName 表名
     * @param rowKey 行鍵
     * @param colFamily 列族名
     * @param col 列名
     * @throws IOException
     */
    public static void deleteRow(String tableName,String rowKey,String colFamily,String col) throws IOException {
        init();
        Table table = connection.getTable(TableName.valueOf(tableName));
        Delete delete = new Delete(rowKey.getBytes());
        //刪除指定列族的所有數據
        //delete.addFamily(colFamily.getBytes());
        //刪除指定列的數據
        //delete.addColumn(colFamily.getBytes(), col.getBytes());
 
        table.delete(delete);
        table.close();
        close();
    }
    /**
     * 根據行鍵rowkey查找數據
     * @param tableName 表名
     * @param rowKey 行鍵
     * @param colFamily 列族名
     * @param col 列名
     * @throws IOException
     */
    public static void getData(String tableName,String rowKey,String colFamily,String col)throws  IOException{
        init();
        Table table = connection.getTable(TableName.valueOf(tableName));
        Get get = new Get(rowKey.getBytes());
        get.addColumn(colFamily.getBytes(),col.getBytes());
        Result result = table.get(get);
        showCell(result);
        table.close();
        close();
    }
    /**
     * 格式化輸出
     * @param result
     */
    public static void showCell(Result result){
        Cell[] cells = result.rawCells();
        for(Cell cell:cells){
            System.out.println("RowName:"+new String(CellUtil.cloneRow(cell))+" ");
            System.out.println("Timetamp:"+cell.getTimestamp()+" ");
            System.out.println("column Family:"+new String(CellUtil.cloneFamily(cell))+" ");
            System.out.println("row Name:"+new String(CellUtil.cloneQualifier(cell))+" ");
            System.out.println("value:"+new String(CellUtil.cloneValue(cell))+" ");
        }
    }
}

 

 

 

每次執行完，都可以回到shell界面查看是否執行成功，如：執行完插入數據后，在shell界面中執行scan 'Score'。截圖如下: