073 HBASE的讀寫以及client API

一：讀寫思想

1.系統表

　　hbase：namespace

　　　　存儲hbase中所有的namespace的信息

　　hbase：meta　　　

　　　　rowkey:hbase中所有表的region的名稱
　　　　column：regioninfo：region的名稱，region的范圍
　　　　server：該region在哪台regionserver上

 

2.讀寫流程

　　tbname,rowkey  ->   region  ->  regionserver  ->  store ->  storefile

　　但是這些都是加載過meta表之后，然后meta表如何尋找？

 

3.讀的流程　　

　　-》根據表名和rowkey找到對應的region
　　-》zookeeper中存儲了meta表的region信息
　　-》從meta表中獲取相應的region的信息
　　-》找到對應的regionserver
　　-》查找對應的region
　　-》讀memstore
　　-》storefile

 

4.寫的流程　　

　　-》根據表名和rowkey找到對應的region
　　-》zookeeper中存儲了meta表的region信息
　　-》從meta表中獲取相應的region的信息
　　-》找到對應的regionserver
　　-》正常情況
　　-》WAL（write ahead log預寫日志），一個regionserver維護一個hlog
　　-》memstore (達到一定大小，flush到磁盤)
　　-》當多個storefile達到一定大小以后，會進行compact，合並成一個storefile
　　-》當單個storefile達到一定大小以后，會進行split操作，等分割region

 

5.注意點

　　關於版本的合並和刪除是在compact階段完成的。hbase只負責數據的增加存儲
　　hmaster短暫的不參與實際的讀寫

 

二：HBase Client API 的書寫

1.添加依賴

　　

 

2.添加配置文件

　　core-site.xml

　　hdfs-site.xml

　　hbase-site.xml

　　log4j.properties

　　regionservers

 

3.get的書寫

　　

 

4.put的書寫

　　

 

 5.delete的書寫

　　

　　注意全部刪除：

　　

 

6.scan的書寫

　　

 

7.過濾條件的scan的書寫

　　                                                                                    

 

三：復制源代碼

　　

package com.beifeng.bigdat;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.Filter;
import org.apache.hadoop.hbase.filter.PrefixFilter;
import org.apache.hadoop.hbase.util.Bytes;

public class HbaseClientTest {
    public static HTable getTable(String name) throws Exception{
        Configuration conf=HBaseConfiguration.create();
        HTable table=new HTable(conf,name); 
        return table;
        
    }
    public static void getData(HTable table) throws Exception{
        Get get=new Get(Bytes.toBytes("103"));
        get.addFamily(Bytes.toBytes("info"));
        Result rs=table.get(get);
        for(Cell cell:rs.rawCells()){
            System.out.println(
                    Bytes.toString(CellUtil.cloneFamily(cell))+"--"+
                    Bytes.toString(CellUtil.cloneQualifier(cell))+"---"+
                    Bytes.toString(CellUtil.cloneValue(cell))+"----"+
                    cell.getTimestamp()
                    );
            System.out.println("----------------------------------------------");
        }
    }
    
    public static void putData(HTable table) throws Exception{
        Put put=new Put(Bytes.toBytes("103"));
        put.add(Bytes.toBytes("info"),
                Bytes.toBytes("name"),
                Bytes.toBytes("zhaoliu"));
        table.put(put);
        getData(table);
    }
    
    public static void deleteData(HTable table) throws Exception{
        Delete delete =new Delete(Bytes.toBytes("103"));
        delete.deleteColumns(Bytes.toBytes("info"), Bytes.toBytes("name"));
        table.delete(delete);
        getData(table);
    }
    
    public static void scanData(HTable table) throws Exception{
        Scan scan =new Scan();
        ResultScanner rs=table.getScanner(scan);
        for(Result r:rs){
            System.out.println(Bytes.toString(r.getRow()));
            for(Cell cell:r.rawCells()){
                System.out.println(
                        Bytes.toString(CellUtil.cloneFamily(cell))+"---"+
                        Bytes.toString(CellUtil.cloneQualifier(cell))+"---"+
                        Bytes.toString(CellUtil.cloneValue(cell))+"--"+
                        cell.getTimestamp()
                    );
            System.out.println();
            }
        }
    }
    
    public static void filterScan(HTable table) throws Exception{
        Scan scan =new Scan();
        Filter filter=new PrefixFilter(Bytes.toBytes("10"));
        scan.setFilter(filter);
        scan.setCacheBlocks(true);
        scan.setCaching(1000);
        scan.setBatch(100);
        ResultScanner rs=table.getScanner(scan);
        for(Result r:rs){
            System.out.println(Bytes.toString(r.getRow()));
            for(Cell cell:r.rawCells()){
                System.out.println(
                        Bytes.toString(CellUtil.cloneFamily(cell))+"---"+
                        Bytes.toString(CellUtil.cloneQualifier(cell))+"---"+
                        Bytes.toString(CellUtil.cloneValue(cell))+"--"+
                        cell.getTimestamp()
                    );
            System.out.println();
            }
        }
        
    }
    
    public static void main(String[] args) throws Exception {
        HTable table=getTable("nstest1:tb1");
        //getData(table);
        //putData(table);
        //deleteData(table);
        //scanData(table);
        filterScan(table);
    }

    

}