方案背景
Hbase的索引方案有很多,越來越多的人開始選擇ES+Hbase的方案,其實該方案並沒有想象中那么完美,ES並發低,同時查詢速度相對Hbase也慢很多,那為什么會選擇他呢,它的寫入比較快,如果一個寬表需要建20個索引,在數據導入時,hbase每秒導入20W,那么ES壓力就是每秒400W,solr和hindex都不能解決該問題。
所以對並發高的業務場景,還是使用華為HIndex這種方案,也可以混合使用
方案描述
ES+Hbase對接大致有兩種方式,需要根據當前的業務場景做相應的選擇,
方案1:
如果是對寫入數據性能要求高的業務場景,那么一份數據先寫到Hbase,然后再寫到ES中,兩個寫入流程獨立,這樣可以達到性能最大,目前某公安廳使用該方案,每天需要寫入數據200億,6T數據,每個記錄建20左右的索引。
缺點:可能存在數據的不一致性。
方案2:
這也是目前網上比較流行的方案,使用hbase的協處理監聽數據在Hbase中的變動,實時的更新ES中的索引,
缺點是協處理器會影響Hbase的性能
轉載於:https://www.cnblogs.com/gaoxing/p/5267512.html