查詢MYSQL和查詢HBASE速度比較


上一篇文章:我要上谷歌

 


 

Mysql,關系型數據庫;

HBase,NoSql數據庫。

查詢Mysql和查詢HBase,到底哪個速度快呢?

與一些真正的大牛討論時,他們說HBase寫入速度,可以達到每秒1W。而HBase的理想速度為每秒10W。

來個實驗說明一下,此實驗只能表明,當前環境下運行狀態。我的實驗效果,沒有到1W,還在優化中…

 

環境:

有3台虛擬機,運行Hadoop集群;3台虛擬機也在跑HBase:master,node1,node2

master上,同時安裝了Mysql數據庫。

目前有這樣一個需求:

有一堆文本文件,每個文本文件內,存儲着日志;

每一行為一條記錄;

現在需要,逐行讀取記錄,並根據記錄中的mac地址和sn號,去從HBase或Mysql中,獲取賬號信息。

然后合並成一條記錄,寫入HBase的“SHUJU”表內。

 

Mysql表結構:

id,mac,sn,addtime,account

HBase表結構:

ROWKEY為mac+sn,mac,sn,account,addtime

 

測試效果如下:

每隔一分鍾,執行一次count操作,統計當前數據條數。

select count(1) from SHUJU

結果如下

=====================================

Mysql上,第一次測試。

開始時間11:03:15

28135(條數)

39014

49659

264564

274379

285174(條數)

結束時間11.26.15

285174 – 28135 = 257039

257039 / 23 = 11 175.608695652

也是1W以上。。。

=====================================

查詢的 HBase庫

開始時間14:43:00

5622(條數)

16671

25062

34848

46652

58001

69690

79908(條數)

結束 14:50:00

79908 – 5622 = 74 286

74286 /7 = 10 612 每分鍾個數。

=====================================

mysql

開始 14:58:30

19248(條數)

26526

36389

45837

51945

62497

72319

82695(條數)

結束時間:15:04:30

間隔 七分鍾

82695 – 19248 = 63 447

93447 / 7 = 9 063.8571428571

======================================

可以看出在HBase中速度,比mysql中速度略快一點。

但是總的速度,還是有待提高。。。

 

文章來自: 大牛筆記

博客園博客地址:http://www.cnblogs.com/laov/p/4134998.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM