上一篇文章:我要上谷歌
Mysql,關系型數據庫;
HBase,NoSql數據庫。
查詢Mysql和查詢HBase,到底哪個速度快呢?
與一些真正的大牛討論時,他們說HBase寫入速度,可以達到每秒1W。而HBase的理想速度為每秒10W。
來個實驗說明一下,此實驗只能表明,當前環境下運行狀態。我的實驗效果,沒有到1W,還在優化中…
環境:
有3台虛擬機,運行Hadoop集群;3台虛擬機也在跑HBase:master,node1,node2
master上,同時安裝了Mysql數據庫。
目前有這樣一個需求:
有一堆文本文件,每個文本文件內,存儲着日志;
每一行為一條記錄;
現在需要,逐行讀取記錄,並根據記錄中的mac地址和sn號,去從HBase或Mysql中,獲取賬號信息。
然后合並成一條記錄,寫入HBase的“SHUJU”表內。
Mysql表結構:
id,mac,sn,addtime,account
HBase表結構:
ROWKEY為mac+sn,mac,sn,account,addtime
測試效果如下:
每隔一分鍾,執行一次count操作,統計當前數據條數。
select count(1) from SHUJU
結果如下
=====================================
Mysql上,第一次測試。
開始時間11:03:15
28135(條數)
39014
49659
264564
274379
285174(條數)
結束時間11.26.15
285174 – 28135 = 257039
257039 / 23 = 11 175.608695652
也是1W以上。。。
=====================================
查詢的 HBase庫
開始時間14:43:00
5622(條數)
16671
25062
34848
46652
58001
69690
79908(條數)
結束 14:50:00
79908 – 5622 = 74 286
74286 /7 = 10 612 每分鍾個數。
=====================================
mysql
開始 14:58:30
19248(條數)
26526
36389
45837
51945
62497
72319
82695(條數)
結束時間:15:04:30
間隔 七分鍾
82695 – 19248 = 63 447
93447 / 7 = 9 063.8571428571
======================================
可以看出在HBase中速度,比mysql中速度略快一點。
但是總的速度,還是有待提高。。。
文章來自: 大牛筆記