MeayunDB-高性能分布式內存數據庫


MeayunDB(www.meayun.com)是一款分布式的NoSQL列式內存數據庫,由C#編寫,主要為高性能,高並發,高可伸縮及大數據系統提供技術解決方案。基於MeayunDB,可以簡單,快速的構建應用,並可根據訪問量和數據存儲需要的增長輕松擴展。

 
 
MeayunDB的主要特性
 
  • 列式存儲
  • 分布式,彈性擴展
  • Map/Reduce並行計算
  • 嵌入式開發(C#,Python)
  • 移動計算
  • JSON數據交互
  • 無縫集成RDBMS
 
MeayunDB的使用場景
 
  • 網站數據―社交網站,電子商務,生活服務,旅游訂票等
  • 緩存系統由於性能很高,MeayunDB也適合作為信息基礎設施的緩存層。
  • 高可伸縮,高並發系統―交易軟件,電信計費,鐵路購票等
  • 高性能,低延遲系統―實時行情,報表系統等
  • 大數據實時分析統計―高頻交易,日志分析,數據挖掘等

MeayunDB架構
 
 

 
 

MeayunDB部署

 
 
 

MeayunDB分布式集群由N>=1個MeayunDB子集群構成,每個子集群上的應用是完全相同的,唯一不相同的是每個MeayunDB子集群存儲的數據是不相同的。您的所有數據是分布存儲到每個子集群中的,每個子集群僅存儲了您的數據的一部分。

MeayunDB子集群中MeayunDB實例數需要>=1(具體實例數由用戶確定),同一個子集群中的MeayunDB實例數據是完全相同的,對外提供相同的業務應用,同一個子集群中的MeayunDB實例是互為對方的數據備份,可以以增加MeayunDB實例的方式,增加數據備份數。

MeayunDB沒有采用主從架構,不存在單點故障問題,隨着業務的擴展,可以線性增加子集群數,提高吞吐量,輕松應對上億行級數據的存儲和實時分析處理。

 

MapReduce流程

 

 

 

用戶向MeayunDB集群提交任務后,集群會分解用戶任務,並調度集群內MeayunDB實例,並行處理用戶任務,最終合並任務結果,合並后的結果可作為下一輪並行計算的輸入。

MeayunDB移動計算,而不移動數據,減少客戶端/服務器進程間通信開銷,並且在內存中進行數據計算,盡可能地提高了系統性能。

 


MeayunDB性能

本次測試使用的軟硬件環境:

  硬件配置:Intel(R) Xeon(R) CPUE5-2609 @ 2.40GHz,8核8線程,內存32GB

     操作系統:Windows Server 2008 R2 Enterprise

 

數據表結構:

 

1.        查詢測試:

 

MeayunDB實例

記錄數(行)

耗時(毫秒)

單線程查詢實例1

10000000

1641

單線程查詢實例2

10000000

1590

單線程查詢實例3

10000000

1246

單線程查詢實例4

10000000

1593

單線程查詢實例5

10000000

1484

單線程查詢實例6

10000000

1694

單線程查詢實例7

10000000

1376

單線程查詢實例8

10000000

1581

8000萬數據對double數據列F5求和的耗時

2307

查詢每條記錄的耗時

0.0288375微秒

每秒吞吐率(行/s)

34677070行

   

2.        插入測試:

  

MeayunDB實例

記錄數(行)

耗時(毫秒)

單線程插入實例1

10000000

59814

插入每條記錄的耗時

5.9814微秒

每秒吞吐率(行/s)

167184.93行


 

MeayunDB價值分析

 

  •  開發簡單,快捷,技術要求低,對開發人員友好
  •  高可伸縮性,按需彈性擴展
  •  降低人的因素影響,降低項目風險,易於項目管理
  •  低延遲,高並發,微秒級數據存取效率。
  •  大數據存儲和實時並行計算
  •  管理,開發,維護成本降低50-80%
  •  工作效率2-4倍的提升
  •  性能10-100倍的提升

QQ交流群:301165454

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM