基於Solr實現HBase的二級索引

文章來源：http://www.open-open.com/lib/view/open1421501717312.html

　　

實現目的：

　　由於hbase基於行健有序存儲，在查詢時使用行健十分高效，然后想要實現關系型數據庫那樣可以隨意組合的多條件查詢、查詢總記錄數、分頁等就比較麻煩了。想要實現這樣的功能,我們可以采用兩種方法:

1. 使用hbase提供的filter,
2. 自己實現二級索引,通過二級索引 查詢多符合條件的行健,然后再查詢hbase.

　　第一種方法不多說了,使用起來很方便,但是局限性也很大,hbase的filter是直接掃記錄的,如果數據范圍很大,會導致查詢速度很慢. 
　　所以如果能先使 用行健把記錄縮小到一個較小范圍,那么就比較適合,否則就不適用了.此外該方法不能解決獲取總數的為.

　　第二種是適用范圍就比較廣泛了,不過根據實現二級索引的方式解決的問題也不同.這里我們選擇solr主要是因為solr可以很輕松實現各種查詢(本來就是全文檢索引擎).

實現思路：

 

　　其實hbase結合solr實現方法還是比較簡單的,重點在於一些實現細節上.

 

　　將hbase記錄寫入solr的關鍵就在於hbase提供的Coprocessor,Coprocessor提供了兩個實現:endpoint和observer, 
　　endpoint相當於關系型數據庫的存儲過程,而observer則相當於 觸 發器.說到這相信大家應該就明白了,我們要利用的就是observer. 
　　observer允許我們在記錄put前后做一些處理,而我們就是通過postPut將記錄同步寫入solr(關於Coprocessor具體內容請自行查資料).

 

　　而寫入solr這塊就比較簡單了,主要是要考慮性能!默認情況下hbase每寫一條數據就會向出發一次postPut, 
　　如果直接提交個solr,速度會非常慢,而且如果有異常處理起來也會非常的麻煩.因此要自己實現一個本地可持久化的隊列,通過后台線程異步向向solr提交.

限制：不能單獨刪除指定的列簇(${Family}),必須是刪除行(Row),或者刪除指定的列(${Family}#${Qualifier})!

部署：

 

在Solr的schema.xml文件里必須有如下動態字段:

<dynamicField name="*_i"  type="int"    indexed="true"  stored="true"/>
   <dynamicField name="*_l"  type="long"   indexed="true"  stored="true"/>
   <dynamicField name="*_f"  type="float"  indexed="true"  stored="true"/>
   <dynamicField name="*_d"  type="double" indexed="true"  stored="true"/>
   <dynamicField name="*_b"  type="boolean" indexed="true" stored="true"/>
   <dynamicField name="*_s"  type="string"  indexed="true"  stored="true" />
   <dynamicField name="*_t"  type="text_general"    indexed="true"  stored="true"/>
   <dynamicField name="*_dt"  type="date"    indexed="true"  stored="true"/>

　　solr里的每一條Dcoument對應HBase表里的一條記錄
　　每一條Dcoument里缺省都會有4個字段:
　　id格式是:${TableName}#${RowKey}
　　t_s格式是:${TableName}
　　r_s格式是:${RowKey}
　　u_dt格式是:${d當前更新時的日期和時間}
　　其他字段格式是:${Family}#${Qualifier}
　　如果HBase表里的字段需要在solr里索引,那么Qualifier設計為已_(i|l|f|d|b|s|t|dt)結尾的solr動態字段!

停止HBase:

在master hbase server上執行:

${HBASE_HOME}/bin/stop-hbase.sh

修改所有Region Servers的$(HBASE_HOME}/conf/hbase-site.xml配置文件：

在最后添加:

<!-- 調試時,將hbase的hbase.coprocessor.abortonerror設置成true,待確定Coprocessor運行正常后在改為false.
  此步驟非必要,但是如果Coprocessor有問題會導致所有Region Server無法啟動!
  -->
  <property>
    <name>hbase.coprocessor.abortonerror</name>
    <value>true</value>
  </property>
  <!-- Solr Coprocessor -->
  <property>
    <name>hbase.coprocessor.region.classes</name>
    <value>wjw.hbase.solr.SolrRegionObserver</value>
  </property>

  <!-- 本地保存Queue的目錄名,沒有時使用:System.getProperty("java.io.tmpdir")得來的值  -->
  <property>
    <name>hbase.solr.queueDir</name>
    <value>/tmp</value>
  </property>  
  <!-- Solr的URL,多個以逗號分隔 -->
  <property>
    <name>hbase.solr.solrUrl</name>
    <value>http://${solrHost1}:8983/solr/,http://${solrHost2}:8983/solr/</value>
  </property>  
  <!-- core名字  -->
  <property>
    <name>hbase.solr.coreName</name>
    <value>hbase</value>
  </property>  
  <!-- 連接超時(秒) -->
  <property>
    <name>hbase.solr.connectTimeout</name>
    <value>60</value>
  </property>  
  <!-- 讀超時(秒) -->
  <property>
    <name>hbase.solr.readTimeout</name>
    <value>60</value>
  </property>  

啟動HBase:

在master hbase server上執行:

${HBASE_HOME}/bin/start-hbase.sh

測試:

/opt/hbase/bin/hbase shell
>status
>create 'demotable','col'
>describe  'demotable'
>list 'demotable'
>put 'demotable','myrow-1','col:q1','value-1'
>put 'demotable','myrow-1','col:q2_s','value-2-測試'
>put 'demotable','myrow-1','col:name_t','張三 李四 王五'
>put 'demotable','myrow-1','col:q3_s','value-3-測試'
>scan 'demotable'