ES+Hbase對接方案概述


方案背景

Hbase的索引方案有很多,越來越多的人開始選擇ES+Hbase的方案,其實該方案並沒有想象中那么完美,ES並發低,同時查詢速度相對Hbase也慢很多,那為什么會選擇他呢,它的寫入比較快,如果一個寬表需要建20個索引,在數據導入時,hbase每秒導入20W,那么ES壓力就是每秒400W,solr和hindex都不能解決該問題。

所以對並發高的業務場景,還是使用華為HIndex這種方案,也可以混合使用

 

方案描述

ES+Hbase對接大致有兩種方式,需要根據當前的業務場景做相應的選擇,

方案1:

如果是對寫入數據性能要求高的業務場景,那么一份數據先寫到Hbase,然后再寫到ES中,兩個寫入流程獨立,這樣可以達到性能最大,目前某公安廳使用該方案,每天需要寫入數據200億,6T數據,每個記錄建20左右的索引。

缺點:可能存在數據的不一致性。

 

方案2:

這也是目前網上比較流行的方案,使用hbase的協處理監聽數據在Hbase中的變動,實時的更新ES中的索引,

缺點是協處理器會影響Hbase的性能

 

轉載於:https://www.cnblogs.com/gaoxing/p/5267512.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM