fusionstorage是華為研發的一款分布式存儲軟件,可以將X86架構的服務器組成一個存儲池,向上提供統一的存儲能力。
傳統存儲:一般是指SAN存儲、NAS存儲、對象存儲,是一種硬件存儲,硬件和軟件是強耦合的。
1. 數據保護方式:FusionStorage是副本機制,傳統存儲是RAID
2. 成本:FS價格比較低廉,性價比較高,傳統存儲價格比較昂貴
3. 組網:傳統存儲的組網成本高,但是組網邏輯簡單;Fusionstorage組網成本低(由於都是通用設備),但是組網邏輯復雜(區分開管理網絡和存儲網絡)。
4. 部署方面:傳統存儲部署簡單;Fusionstorage部署過程較為復雜
5. 性能:Fusionstorage大場景使用性能比較好,因為采用分布式架構,數據分散存放,多個控制進程的存在,處理並發IO;傳統存儲小場景使用性能比較好,傳統存儲數據處理上並發IO容易產生瓶頸,多種不同業務使用相同控制器會導致控制器壓力過大造成性能下降(控制器瓶頸)。
6. 維護/擴展:傳統存儲,在多廠商異構的時候,維護工具太多,維護平台和維護的方法由於廠家的不同,會不一樣;受控制器的限制,擴展比較困難,通常是2—16控(控制器最大達到16控,中端8控,高端16控),高端存儲可以實現32甚至到64控的。存在元數據瓶頸。
Fusionstorage,由於Fusionstorage可以由不同廠家的服務器來組成的存儲池,在組成存儲池時已經去差異化了。管理界面統一,易於維護;采用分布式控制器(分布式軟件機頭VBS),可線性擴展到4096個節點。
7. 場景:對業務穩定性可靠性要求比較高的場景用傳統存儲。
FusionStorage由於是服務器組成的存儲池,受制於X86架構服務器本身的穩定性,適合追求高性能的應用。由於Fusionstorage對虛擬化的支持較好,可以和虛擬化環境合布,充分利用服務器本地的資源。所以說虛擬化場景選擇Fusionstorage相對來說多一點。適合大規模存儲場景(虛擬化數據中心或者私有雲場景等)
8. 數據重建:fs 數據重建時間短 傳統存儲數據重建時間較長
9. cache:fs通常為TB級,分布式cache(每個服務器上加一個SSD盤做分布式Cache,眾多的SSD盤做Cache空間);傳統存儲cache由內存提供通常為GB級,可以達到TB,但是成本高
10. 掉電保護:FusionStorage使用保電介質來保存元數據和緩存數據,程序運行過程中會把元數據和緩存數據寫入保電介質中,以防掉電而丟失

10. 管理 專用的存儲管理(bcmanager)
*FusionStorage對比傳統存儲有哪些缺點、劣勢?(考到)
1. FusionStorage至少三點節起步,並且在節點數據量/節點數達到一定規模后性能才能趕上傳統存儲
2. 小規模場景, FusionStorage 的實施比傳統存儲復雜許多
3. 資源要求過高:存儲要求、計算要求(CPU、內存)
4. FusionStorage並不支持數據容災,在應用FusionStorage的場景,只能通過上層完成
5. FusionStorage由於采用分布式架構,延遲較大些,不適用於對時延敏感的業務(如OLTP)傳統存儲可使用FusionCompute鏈路,延時較低,利用率高
6. FusionStorage采用兩副本或三副本的機制,存儲利用率較低
7. FusionStorage目前不像某些傳統存儲(例如華為的統一存儲)同時提供文件存儲、對象存儲服務(不支持同時提供)
小規模場景:至少三台服務器,共 12 盤,服務器級安全
大規模場景:至少 12 台服務器,至少三個機櫃,機櫃級安全
*傳統存儲的優點:
1. 讀寫連續,適用於高IO密度的讀寫。
2. 專業存儲設備,設備可靠性較高。
*Server SAN 是什么?有哪些特征?
FS是Server SAN的一種。
概念:由多個獨立服務器自帶的存儲組成一個存儲資源池,同時融合了計算和存儲資源
特征:1、專有設備(傳統存儲)變通用設備(x86部署fs)
2、計算與存儲線性擴展
3、簡單管理、低TCO
*FusionStorage對比傳統存儲有什么優勢?

目前,部分傳統存儲進行IB組網,但並非標配。
V3存儲使用smartcache特性,將SSD盤作為介質提供讀緩存,使讀緩存也能夠達到TB級別。
教材中介紹,傳統存儲數據重建慢,指的是T系列存儲的盤級虛擬化技術,以整塊盤為單位,重構到熱備盤,數據重構的時候無法實現並發性重構。而V3存儲底層使用的是raid 2.0+技術,同樣可以實現並發性的重構,重構速度較快。


*為什么用 VBS 就可以擴展到 4096 個節點?
VBS等於傳統存儲的控制器 可以擴展到4096節點 因為他是分布式 無狀態的
首先,4096 個節點是指 FusionStorage 產品規格上支持分布式無狀態軟件控制器節點的數量;其次,元數據服務是由 VBS 負責,而元數據服務是由控制器提供。
*何為線性擴展?(考到)
1. 在增加節點的同時,即能擴展存儲系統的性能也能擴展存儲系統的容量。(擴展計算和存儲)
2. 在增加 VBS 節點數量時性能線性增長。
*元數據服務集中於機頭,易出現性能瓶項?
傳統存儲,針對於某個LUN而言,它的元數據集中於某個控制器,當過多的主機使用同一個LUN的時候,都要經過機頭訪問它的元數據,所以這種情況下,元數據就會出現瓶頸。
而FusionStorage是分布的無狀態的,當訪問同一個LUN的時候,或者去操作元數據的時候,都是通過VBS來操作的,且通過DHT算法算出來的。
*FusionStorage 擴展到4096 個節點,會帶來什么問題?
1. 節點多,VBS占用存儲多,浪費磁盤空間多;
2. 不夠綠色節能;
3. 系統啟動會變慢;主VBS性能瓶頸
4. 數據龐大,無法進行容災;
*FusionStorage 如何保障數據的可靠性
副本機制:數據存儲時被分片打散到多個節點上,這些分片數據支持分布在不同的存儲節點、不同的機櫃之間,同時數據存儲時采用多副本技術、支持兩副本或三副本(副本數量可在初次配置時進行設置,運行后不可更改),數據會自動保存多份,每一個分片的不同副本也被分散保存到不同的存儲節點上。
快速數據重建:在硬件發生故障導致數據不一致時,FusionStorage通過內部的自檢機制,通過比較不同節點上的副本分片,自動發現數據故障。發現故障后啟動數據修復機制,在后台修復數據。由於數據被分散到多個不同的存儲節點上保存,數據修復時,在不同的節點上同時啟動修復,每個節點上只需修復一小部分數據,多個節點並行工作,有效避免單個節點修復大量數據所產生的性能瓶頸,對上層業務的影響做到最小化。
掉電保護:系統運行過程中可能會出現服務器突然掉電的情況,FusionStorage使用保電介質來保存元數據和緩存數據,以防掉電而丟失。FusionStorage支持的保電介質為NVDIMM內存條或SSD。程序運行過程中會把元數據和緩存數據寫入保電介質中,節點異常掉電並重啟后,系統自動恢復保電介質中的元數據和緩存數據。
*怎么看待以后存儲的方向
1. 偏向於分布式的架構,比如 FusionStorage 這種分布式塊存儲軟件
2. 機頭,io,網絡沒有瓶頸
3. 管理方便,中低端存儲可能被 server SAN 替代,高端領域仍然是高端存儲的天下;
*FusionStorage存儲池要求:
1. 磁盤類型一致
2. 磁盤大小一致(按照最小的來算)
3. 最小12塊盤(OSD)
4. 非SSD場景下,要有一塊SSD作為緩存盤
5. 2兩副本 228塊盤,3副本 2048塊盤

*FusionStorage資源池具有什么特點?
1. 系統自動保證多個數據副本分布在不同的服務器上。
2. 系統自動保證多個數據副本之間的數據強一致性。
3. 用戶數據以Key-Value的方式存儲在硬盤上。
4. 對上層應用提供卷設備(Volume),使用簡單。
5. 系統自動保證每個硬盤上的數據量均衡,避免出現集中的熱點。
6. 資源池內所有硬盤都可用作資源池的熱備盤,在 2副本場景下,單個資源池最大支持96塊硬盤。在3副本場景下,單個資源池最大支持 2048塊硬盤。
*FusionCompute 所支持的虛擬磁盤文件格式有哪些?
1、普通硬盤: raw 2、普通延遲置零、精簡: vhd
*FusionStorage是不是虛擬化數據存儲?
不是,虛擬化數據存儲特指由CNA自身實現的虛擬化特性,例如快照、精簡磁盤等,即對應存儲虛擬化為主機存儲虛擬化+文件系統。FusionStorage支持虛擬化特性,是通過 FusionStorage存儲系統自身機制實現的,CNA並未參與。
*傳統存儲和 FusionStorage 可靠性方面如何考慮?
傳統塊存儲:是通過一些機制保障了可靠性;(陣列和算法);有 BBU 掉電保護(掉電后BBU 供電將緩存的數據存放在內置的保險盤中)
FusionStorage:是通過副本機制保證;數據重建,掉電保護
*推薦客戶用 FusionStorage 有什么難處?(fs的劣勢)
1. 客戶對分布式存儲認識比較少,推廣得不夠;
2. 因為國內案例比較少,客戶擔心一個穩定性問題;
3. 不支持 FusionCompute 網絡,擔心性能問題;
4. 無法備份數據,客戶擔心數據的安全性;
5. 不支持數據容災,需要通過上層完成
6. 傳統存儲有專業的運維人員;分布式存儲沒有形成專門的維護團隊;
7. 小規模場景部署 FusionStorage 比較復雜
*針對部分業務,為什么客戶會偏向使用傳統存儲?
1. 傳統存儲具有部署簡單,上線快等優點;
2. 傳統存儲安裝調試簡單;
3. 一些核心關鍵業務需要傳統存儲,保證最低延遲,高IOPS
4. 傳統存儲支持許多高級特性
5. FusionStorage 初始投資高
*FusionStorage是如何實現分布式的?
FusionStorage Block存儲軟件的采用全分布式的架構:分布式管理集群,分布式哈希數據路由算法,分布式無狀態機頭、分布式智能Cache等,這種架構使得整個存儲系統沒有單點故障。
*什么情況下應該選擇傳統存儲?
1. 小規模場景;
2. 需要高級特性場景;
3. 對延遲有一定要求的場景;
*IOPS 較高數據庫場景為什么選擇傳統存儲?
1. 傳統存儲支持 FusionCompute 組網,FusionCompute 具備更好的網絡訪問性能;FusionStorage 不支持;
2. 數據庫對延遲要求比較小;
3. 因為高性能的數據庫對文件系統有依賴
*傳統存儲是否可以統一管理?
可以。需要單獨引入存儲統一管理軟件,它利用南向對接不同廠商、系列的存儲設備,北向提供統一的界面,達到統一管理的目的。但這相對於FusionStorage統一管理而言,它並非天生就具備的,而是引入外物實現,且體驗度有待探究
*適合使用FusionStorage的應用場景有哪些?
FusionStorage 的主要應用場景分為兩大類:
1. 一類是在大規模雲計算數據中心中,將通用X86存儲服務器池化,建立大規模塊存儲資源池,提供標准的塊存儲數據訪問接口(SCSI和iSCSI等)。支持各種虛擬化Hypervisor 平 台和各種業務應用(如SQL、Web、行業應用等等);可以和各種雲平台集成,如華為 FusionSphere、VMware、開源Openstack 等,按需分配存儲資源。
2. 適用於數據成本、價值低的場景,比如說愛奇藝、騰訊視頻等視頻存放。
*SmartCache特性
SmartCache特性是一種采用SSD盤作為介質提供讀緩存的特性,與普通緩存資源 RAM Cache 配合實現了對熱點數據的讀加速,提高整個存儲系統的性能。
SmartCache特性在對SSD盤資源進行管理上,分為智能緩存池和SmartCache 分區兩部分。 開啟SmartCache功能前,數據不區分冷熱程度,都存放在機械硬盤中。由於機械硬盤需要占用一定的尋道時間,所以讀取數據所需的時間較長,數據的讀性能不高。
開啟SmartCache功能后,存儲系統將熱點數據拷貝至 SSD盤組成的智能緩存池中。由於SSD 盤與機械硬盤相比,沒有尋道時間,所以利用SSD盤的優勢可以大大減少熱點數據的讀取時間,提高熱點數據的讀性能。
*FusionStorage的容災特性
FusionStorage 雙活特性中的兩個數據中心互為備份,且都處於運行狀態。當一個數據中心發生設備故障,甚至數據中心整體故障時,業務自動切換到另一個數據中心,解決了傳統災備中心不能承載業務和業務無法自動切換的問題。提供給用戶高級別的數據可靠性以及業務連續性的同時,提高存儲系統的資源利用率。
FusionStorage 遠程復制特性通過對主從兩端的數據進行周期性同步,實現系統容災,從而最大限度減少由於數據遠程傳輸的時延而造成的業務性能下降。
補充:
雙活:FusionStorage V100R006C20版本及其后續版本。
遠程復制:FusionStorage V100R006C30 版本及其后續版本。
目前6.3.1 LAB考試配套版本為FusionStorage Block V100R006C20SPC200
分布式存儲軟件系統通常具備怎樣的特點?
第一,高性能:分布式哈希數據路由,數據分散存放,實現全局負載均衡,不存在集中的數據熱點,大容量分布式緩存;
第二,高可靠:采用集群管理方式,不存在單點故障,靈活配置多數據副本,不同數據副本存放在不同的機架、服務器和硬盤上,單個物理設備故障不影響業務的使用,系統檢測到設備故障后可以自動重建數據副本;
第三,高擴展:沒有集中式機頭,支持平滑擴容,容量幾乎不受限制;
第四,易管理:存儲軟件直接部署在服務器上,沒有單獨的存儲專用硬件設備,通過 Web UI的方式進行軟件管理,配置簡單。
數據存儲的有哪些?
1、虛擬化數據存儲: 虛擬化本地硬盤、虛擬化SAN存儲、NAS存儲、FusionStorage存儲池
2、RDM (Raw Device Mapping)是VMware服務器虛擬化環境中,用以允許一個虛擬機直接訪問SAN(Storage Area Networking)中的一個存儲LUN(Logical Unit Number)。從VMware ESX 2.5開始,RDM(Raw Device Mapping)允許VMFusionStorage文件卷中一個特殊的文件當作一個Raw Device (裸設備)的代理。RDM也可以叫做裸設備映射,虛擬機直接使用存儲中的LUN,而不經過虛擬化層。
數據存儲是虛擬化或非虛擬化的本質差別。
1、當數據存儲的虛擬化特性是由主機側去實現時,其根本就是將存儲設備格式化為文件系統。本地存儲格式成 ext4,共享存儲格式成 vims。
2、非虛擬數據存儲,就是一個塊設備。
FusionStorage容災特性的部署方式
容災功能既可以部署在獨立的節點上,也可以部署在存儲節點上。即復制節點既可以獨立存在,也可以與存儲節點合一。容災服務包括復制控制和復制業務。
復制業務:用於pair、一致性組的管理和數據搬移操作。
復制控制:用於管理集群節點和集群元數據,支持3個或5個或7個節點,其中復制控制集群的ZK和CCDB 進程需要本地存儲用於記錄元數據信息。
融合部署:容災服務與存儲服務融合部署方式是指將容災服務安裝在存儲節點上,沒有單獨的復制節點,由存儲節點提供容災服務。

獨立部署方式是指將容災服務安裝在獨立的復制節點上。

考試追問:
傳統存儲的SSD緩存與FS存儲的SSD緩存有什么區別?
傳統存儲的SSD緩存是集中的,
FS的SSD是分布式的,動態線性增長。
兩個緩存的寫緩存有什么區別?
副本機制怎么實現?
歸屬MDC負責partition划分,更新partition view給OSD,決定OSD主備也就是副本關系,VBS根據DHT算法找到partition和OSD對應關系,OSD主與備通過RSM同步數據,OSD切塊。
傳統存儲怎么實現數據重建?
可能通過RAID或RAID2.0+來進行數據重建。
EC機制怎么實現的,EC機制只有FS有嗎?
EC:糾刪碼機制,相當於傳統存儲的RAID,類似於用軟件實現的RAID。在保護數據的時候通過數據盤+校驗盤的方式來做,然后4D+1P(4塊數據盤+1塊校驗盤)一共5塊盤,壞了一塊盤無影響,可以被恢復。
EC機制不是只有FS有。
機頭瓶頸中VBS是什么?為什么是4096個,他是部署在每個服務器上嗎?
VBS是分布式無狀態機頭。
VBS之間要形成集群關系,fs規格最大支持4096個,若更多會對性能產生更大影響。
是部署在每個服務器上的。
MDC故障怎么處理?
主MDC故障,ZK會進行MDC的重新選主。
其他MDC故障,會上報告警。
VBS故障怎么處理?
主VBS故障,其他VBS會向主MDC注冊,進行重新選主。
其它VBS故障,會上報告警。
傳統存儲與FS的數據可靠性誰有優勢?容災呢?
數據可靠性和容災都是傳統存儲更有優勢。
FS和集中式存儲應用場景
集中式存儲(傳統存儲)適用於業務要求高並發、低延遲場景,FS適用於海量存儲、多業務應用場景。
數據庫適合什么存儲?
傳統存儲
fs和傳統存儲哪個性能好
小規模傳統好
大規模 fs好,FS有時延問題
