存儲技術

雲存儲技術總結

    存儲概述
        存儲組網形態
            DAS
            NAS
            SAN
        RAID
        磁盤熱備
        快照
    雲存儲的概念與技術原理
        分布式塊存儲
        分布式文件存儲
        分布式對象存儲
    對象存儲技術
        對象存儲系統的組成
            對象
            OSD 智能存儲設備
            文件系統
            MDS 元數據服務器

存儲概述
存儲組網形態

    存儲歷史
    存儲技術是計算機的核心技術之一，計算機的存儲技術的總體趨勢是存儲容量和I/O速度不斷增加。
    第一台磁盤存儲器
    世界上第一台硬盤存儲器IBM 350 RAMAC誕生，當時它的總容量置郵5MB，但總共使用了50個直徑位24英寸的磁盤。
    RAID技術出現
    1987年，加州柏克大學的人員發表了《磁盤陣列控制器研究》論文，正式提到了RAID，即磁盤陣列控制器，提出廉價的5.25英寸及3.5英寸的硬盤也能如大機器上的8英寸盤般提供大容量 、高性能和數據的一致性，並詳述了RAID1~5的技術。
    SAN技術出現
    1994年，ANSI標准組織通過了第一個版本的光纖通道SAN，並迅速在數據苛刻型企業中獲得廣泛應用，而由此我們也正式邁入了網絡存儲的時代。
    存儲的分類
    存儲分類
    組網形式

DAS

DAS是指將存儲設備通過SCSI（Small Computer System Interface，小型計算機系統專用接口）接口或光纖通道直接連接到一台計算機上。顧名思義，這是為了小型計算機設計的擴充接口。DAS將存儲設備直接連接到服務器，是最傳統的、最常見的連接方式，容易理解、規划和實施。但是DAS沒有獨立操作系統，也不能提供跨平台的文件共享，各平台下的數據需分別存儲，且各DAS系統之間沒有連接，數據只能分散管理。
NAS

NAS是將存儲設備連接到現有網絡上，提供數據和文件服務，應用服務器直接把File I/O請求通過LAN傳給遠端NAS中的文件系統，NAS中的文件系統發起Block I/O到與NAS直連的磁盤。NAS主要面向搞笑的文件共享任務，適用於那些需要網絡進行大容量文件數據傳輸的場合。NAS本身裝有獨立的操作系統，通過網絡協議可以實現完全跨平台共享，但NAS系統的前期投入相對較高。
SAN

SAN通過光纖通道連接到一群計算機上。在該網絡中提供了多主機連接，但並非標准的網絡拓撲。它是一個用在服務器和存儲資源之間的、專用的、高性能的網絡體系，為實現大量原始數據的傳輸而進行了專門的優化。SAN是一種高可用性、高性能的專用存儲網絡，用於安全的連接服務器和存儲設備並具備靈活性和可擴展性；SAN對於數據庫環境、數據備份和恢復存在巨大的優勢；SAN是一種非常安全的快速傳輸、存儲、保護、共享和恢復數據的方法。
RAID

磁盤陣列是有很多價格較為便宜的磁盤組合而成的一個容量巨大的磁盤組，可利用個別磁盤提供數據所產生加成效果提升整個磁盤系統效能。利用這項技術，可將數據切割成許多區段，分別存放在各個磁盤上。

    RAID 0
    RAID 0是沒有容錯設計的條帶磁盤陣列，以條帶形式將RAID陣列的數據均勻分布在各個陣列中。RAID0沒有磁盤冗余，一個磁盤失敗導致數據丟失。
    總容量 = 磁盤數量 * 磁盤容量
    RAID 1
    RAID 1以鏡像作為冗余手段，模擬磁盤中的數據有多個副本，放在成員磁盤上，具有100%的數據冗余，但磁盤空間利用率置郵50%。
    總容量 = （磁盤數量 / 2） * 磁盤容量
    RAID 3
    RAID 3以XOR校驗為冗余方式，只有一個磁盤損壞的情況下，RAID 3能通過校驗數據恢復損壞磁盤，但在兩個以上磁盤同時損壞的情況下，RAID 3不能發揮數據校驗功能。
    總容量 = （磁盤數量 - 1）* 磁盤容量
    RAID 5
    RAID 5以XOR檢驗為冗余方式，校驗數據均勻分布在各個數據磁盤上，對各個數據磁盤的訪問為異步操作。相對於RAID 3，RAID 5改善了校驗盤的瓶頸。
    總容量 = （磁盤數量 - 1） * 磁盤容量
    RAID 6
    RAID 6能夠允許兩個磁盤同時失效的RAID級別系統。、
    總容量 = （磁盤數量 - 2） * 磁盤容量
    RAID 10
    RAID 10（鏡像陣列條帶化）是將鏡像和條帶組合起來的組合RAID級別，最低一級是RAID鏡像對，第二級別為RAID 0。
    總容量 = （磁盤數量 / 2） * 磁盤容量
    RAID 50
    RAID 50是將鏡像和條帶組合起來的組合RAID級別，最低一級是RAID鏡像對，第二級別為RAID 0。
    總容量 = （磁盤數量 - 1） * 磁盤容量

磁盤熱備

熱備份是指在建立RAID磁盤陣列系統的時候，將其中一個磁盤指定為熱備磁盤，此熱備磁盤在平常並不操作，當陣列中某一磁盤發生故障時，熱備磁盤便取代故障磁盤，並自動將故障磁盤的數據重構在熱備磁盤上。
快照

快照是某一個時間點上的邏輯卷的映像，邏輯上相當於整個快照源卷（base volume）的副本。可將快照卷分配給任何一台主機。快照卷可讀取、寫入或復制，需要相當於快照源卷的20%的額外空間，主要用途是利用少量存儲空間保存原始數據的備份，文件、邏輯卷恢復及備份、測試、數據分析等。

·
雲存儲的概念與技術原理

關於雲存儲的定義，目前沒有標准。百度百科給出的定義是：雲存儲是在雲計算概念上延伸和發展出來的一個新的概念，是指通過虛擬化、集群應用、網絡技術或分布式文件系統等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協調工作，共同對外提供數據存儲和業務訪問功能的一個系統。
分布式塊存儲

塊存儲將存儲區域划分成固定大小的小塊，是傳統裸存儲設備的存儲空間對外暴露方式。塊存儲系統將大量磁盤設備通過 SCSI/SAS 或 FC SAN 與存儲服務器連接，服務器直接通過 SCSI/SAS 或 FC 協議控制和訪問數據。塊存儲方式不存在數據打包/解包過程，可提供更高的性能。
分布式文件存儲

文件存儲以標准文件系統接口形式向應用系統提供海量非結構化數據存儲空間。分布式文件系統把分布在局域網內各個計算機上的共享文件夾集合成一個虛擬共享文件夾，將整個分布式文件資源以統一的視圖呈現給用戶。
分布式對象存儲

對象存儲為海量非結構化數據提供通過鍵值對查找數據文件的存儲模式，提供了基於對象的訪問接口，有效地合並了NAS和SAN的存儲結構優勢，通過高層次的抽象，具有NAS的跨平台共享數據和基於策略的安全訪問優點，支持直接訪問，具有SAN的高性能和交換網絡結構的可伸縮性。

·
對象存儲技術

對象存儲體系結構提供了一個帶有NAS系統的傳統的文件共享和管理特征的單系統映像（single system image）文件系統，並改進了SAN的資源整合和可擴展的性能。
對象存儲系統的組成
對象

包含了文件數據以及相關的屬性信息，可以進行自我管理。

    根對象
    最高層次的對象，每個設備上只有一個，指的就是OSD本身。
    分區對象
    根對象之下的對象，每個設備上可以有多個，包含具有相同的安全性和空間管理特性的所有對象。
    集合對象
    分區對象之下的對象，每個設備上可以有多個，包含一組具有相同屬性的用戶對象。
    用戶對象
    集合對象之下的對象，每個設備上可以有多個，由客戶端或者應用通過SCSI命令創建的對象。

OSD 智能存儲設備

每個OSD都是一個智能設備，具有自己的存儲介質、處理器、內存以及網絡系統等，負責管理本地的對象，是對象存儲系統的核心。
OSD提供3個主要功能：

    數據存儲
    OSD管理對象數據，並將它們放置在標准的磁盤系統上，OSD不提供塊接口訪問方式，客戶端請求數據時用對象ID、偏移進行數據讀寫。
    智能分布
    OSD用其自身的CPU和內存優化數據分布，並支持數據的預存。由於OSD可以智能地支持對象的預取，從而可以優化磁盤的性能。
    每個對象元數據的管理
    OSD管理存儲在其上對象的元數據，該元數據與傳統的inode元數據相似，通常包括對象的數據塊和對象的長度。

文件系統

文件系統對用戶的文件操作進行解釋，並在元數據服務器和OSD間通信，完成所請求的操作。
MDS 元數據服務器

MDS控制客戶端與OSD對象的交互，主要提供3個功能：

    對象存儲訪問
    MDS構造、管理描述每個文件分布的視圖，允許客戶端直接訪問對象。MDS為客戶端提供訪問該文件所含對象的能力。
    文件和目錄訪問管理
    MDS在存儲系統上構建一個文件結構，包括限額控制、目錄和文件的創建和刪除、訪問控制等。
    客戶端Cache一致性
    為了提高Client性能，在對象存儲系統設計時通常支持客戶端的Cache。由於引入客戶端方的Cache，帶來了Cache一致性的問題，MDS支持基於客戶端的文件Cache，當Cache的文件發生改變時，將通知客戶端刷新Cache，從而防止Cache不一致引發的問題
————————————————
版權聲明：本文為CSDN博主「Leozonemxy」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/Leozonemxy/article/details/103338567

 

 

 

 

存儲層：

       是存儲的基礎。雲存儲依靠存儲層將不同的存儲設備互聯起來，形成一個面向服務的分布式存儲系統。在物理存儲設備之上是一個統一的存儲設備管理層，實現對物理存儲設備的邏輯虛擬化管理、狀態監控和維護等功能。

管理調度層：

       是存儲的核心。主要功能是在存儲層提供的存儲資源上部署分布式文件系統或者建立和組織存儲資源對象，並將用戶數據進行分片處理，按照設定的保護策略將分片后的數據以多副本或者冗余糾刪碼的方式分散存儲到具體的存儲資源上去。同時，在本層還會在節點間進行讀寫負載均衡調度以及節點或存儲資源失效后的業務調度與數據重建恢復等任務，以便始終提供高性能、高可用的訪問服務。不過，在具體實現時，該層的功能也可能上移，位於訪問接口層和應用服務層之間，甚至直接嵌入到應用服務層中，和業務應用緊密結合，形成業務專用雲存儲。

訪問接口層：

       這是一個可以自由擴展的、面向用戶需求的結構層。一般情況下，可以根據具體情況和需求，開放各種接口，為其提供多種服務。

用戶訪問層：

       在連接互聯網的任何一台機器上，只要用戶經過授權，都可以通過這一層，進入的雲存儲平台系統，進行雲存儲上的允許的授權操作，享受雲存儲帶來的各種服務。
————————————————
版權聲明：本文為CSDN博主「周金波」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/weixin_42396008/article/details/103312526