互聯網存儲架構彈性擴容案例


     互聯網業務持續增長需要存儲架構設計也能夠彈性擴容。讓我們來看看:

RocksDB

RocksDB是facebook開源的NOSQL存儲系統,其設計是基於Google開源的LevelDB,優化了LevelDB中存在的一些問題,其性能要比LevelDB強,設計與LevelDB極其類似。RocksDB 具有高度靈活的配置設置,可以調整為在各種生產環境(包括純內存,閃存,硬盤或 HDFS)上運行。它支持各種壓縮算法,並且有生產和調試環境的各種便利工具。RocksDB 借用了來自開源 LevelDB 項目的核心代碼,以及來自 Apache HBase 的重要思想。RocksDB 的主要設計點是,它應該是快速存儲和服務器工作負載的性能而設計。它應充分利用 Flash 或 RAM 提供的高速讀/寫速率的全部潛力。它應該支持高效的點查找以及范圍掃描。它應該可配置為支持高隨機讀取工作負載,高更新工作負載或兩者的組合。其架構應支持輕松調整參數,支持讀取放大,寫入放大和空間放大場景。

RocksDB適用場景      
1.對寫性能要求很高,同時有較大內存來緩存SST塊以提供快速讀的場景;    
2.SSD等對寫放大比較敏感以及磁盤等對隨機寫比較敏感的場景
3.需要變長kv存儲的場景; 
4.小規模元數據的存取;

不適合場景
1.大value的場景,需要做kv分離;2.大規模數據的存取


系統架構

image


image


image

image

image

image
image
image
image
image
image
image
image
image

基於Redis的彈性擴容

image


Related Links:

https://github.com/CodisLabs/codis
https://redis.io/
https://github.com/facebook/rocksdb
http://myrocks.io/
https://github.com/mongodb-partners/mongo-rocks
https://zookeeper.apache.org/
https://github.com/twitter/twemproxy
https://hbase.apache.org/
https://www.percona.com/live/data-performance-conference-2016/sessions/rocksdb-key-value-store-optimized-flash-based-ssd

------------------------------------------------------------------

今天先到這兒,希望對您在系統架構設計,基礎設施研發,團隊管理, 項目管理, 產品管理,團隊建設 有參考作用 , 您可能感興趣的文章:
國際化環境下系統架構演化
微服務架構設計
基於Kubernates微服務案例
視頻直播平台的系統架構演化
微服務與Docker介紹
Docker與CI持續集成/CD
互聯網電商購物車架構演變案例
互聯網業務場景下消息隊列架構
互聯網高效研發團隊管理演進之一
消息系統架構設計演進
互聯網電商搜索架構演化之一
企業信息化與軟件工程的迷思
企業項目化管理介紹
軟件項目成功之要素
人際溝通風格介紹一
精益IT組織與分享式領導
學習型組織與企業
企業創新文化與等級觀念
組織目標與個人目標
初創公司人才招聘與管理
人才公司環境與企業文化
企業文化、團隊文化與知識共享
高效能的團隊建設
項目管理溝通計划
構建高效的研發與自動化運維
某大型電商雲平台實踐
互聯網數據庫架構設計思路
IT基礎架構規划方案一(網絡系統規划)
餐飲行業解決方案之客戶分析流程
餐飲行業解決方案之采購戰略制定與實施流程
餐飲行業解決方案之業務設計流程
供應鏈需求調研CheckList
企業應用之性能實時度量系統演變

如有想了解更多軟件設計與架構, 系統IT,企業信息化, 團隊管理 資訊,請關注我的微信訂閱號:

MegadotnetMicroMsg_thumb1_thumb1_thu[2]



作者:Petter Liu
出處:http://www.cnblogs.com/wintersun/
本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
該文章也同時發布在我的獨立博客中-Petter Liu Blog


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM