分布式數據存儲系統的三要素


顧客:生產和消費數據

顧客相當於分布式存儲系統中的應用程序。根據數據的產生和使用,顧客分為生產者和消費者兩種類型。生產者負責添加數據,消費者負責使用數據

根據數據的特征,不同的數據划分為三類:結構化數據,半結構化數據和非結構化數據

結構化數據:關系模型數據,特征是數據關聯較大,格式固定,一般采用分布式關系數據庫進行存儲和查詢

半結構化數據:非關系型,有基本固定結構模式的數據,數據之間的關系比較簡單,一般采用分布式鍵值系統進行存儲和使用

非結構化數據:沒有固定模式的數據,數據之間關聯不大,通過elasticsearch等進行檢索

導購:確定數據位置

數據分片技術:分布式存儲系統按照一定的規則將數據存儲到對應的存儲節點中,或者從對應的存儲節點中獲取想要的數據。該技術的優勢,降低單個存儲節點的存儲和訪問壓力,可以通過規定好的規則快速查找到數據所在的存儲節點,以降低搜索延遲。數據分片技術包括數據范圍,哈希映射,一致性哈希等方式。數據范圍方案,指的是按照某種規則划分數據范圍,然后將這個范圍內的數據歸屬到一個集合中。

貨架:存儲數據

針對三種不同的數據類型,存儲貨架大致分為以下三種:

分布式數據庫:通過表格存儲結構化數據,方便查找

分布式鍵值系統:通過鍵值對來存儲半結構化數據

分布式存儲系統:通過文件、塊、對象等來存儲非結構化數據


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM