我們使用的計算機的全稱叫電子計算機，前面有電子兩個字，這說的是整個計算機中的核心元器件基本上都是電子單元組成的。但機械硬盤卻是一個特殊的例外，它更多是用機械技術做出來的一個產品。當把帶有機械技術基因的磁盤搭到計算機，尤其是再應用到服務器領域的時候，暴露出了機械技術的兩個嚴重問題：
- 第一，速度慢。 如果把內存和CPU的速度比作汽車和飛機的話，這個大哥毫秒級別的延遲幾乎就是牛車級別的。
- 第二，容易壞。 經常聽說誰誰的磁盤壞了，很少有聽說過誰的內存條，CPU壞了。筆者就有在讀研期間實驗室里正在拷貝資料，突然一個斷電直接廢了一塊硬盤的經歷。
要想保證服務器運轉的穩定和高速，就必須解決硬盤從娘胎里帶出來的這兩個缺陷。
多硬盤連接
問題簡單明了，我們要解決速度慢、容易壞兩個問題。很自然，單兵作戰不行，那我們就想到往上懟一個班，多塊硬盤一起上。但問題是，假如給你N塊硬盤，讓你來出一個技術方案，你會怎么設計呢？
第一個方案就是，把一個文件分成N片，每一片都散列在不同的硬盤上。這樣當文件進行讀取的時候，就可以N塊硬盤一起來工作，從而達到讀取速度提高到N倍的效果，這就是RAID 0。
不過這個方案沒有解決容易壞的問題，任何一塊硬盤壞了都會導致存儲系統故障。
第二個方案就是，仍然把文件分片，但是所有的分片都存在一塊硬盤上，其它的硬盤只存拷貝。 這既提高了硬盤的訪問速度，也解決了壞的問題。任意一塊硬盤壞了，存儲系統都可以正常使用，只不過速度會打一點折扣。
不過這個方案又帶來了新的問題，那就是實現成本有點高了。假如我們用256G硬盤想實現512G的存儲容量的話，最少得需要4塊硬盤才能實現。
有沒有折中一點的方案呢？有，而且很多。我們這里只說下最常見的raid5
RAID 5同樣要對文件進行分片，但是不對存儲的數據進行備份，而是會再單獨存一個校驗數據片。
假如文件分為A1 A2 A3，然后需要再存一個校驗片到別的磁盤上。這樣不管A1，A2還是A3那一片丟失了，都可以根據另外兩片和校驗片合成出來。 既保證了數據的安全性，又只用了一塊磁盤做冗余存儲。
假如我們有8塊256GB的硬盤，那么RAID5方案下的磁盤陣列從用戶角度來看可用的存儲空間是7*256GB，只“浪費”了一塊盤的空間，所以目前RAID5應用比較廣泛~~
Raid卡緩存
硬盤延遲是毫秒級別的，即使是多快硬盤並行，也只能提升數倍而已，不能夠達到量級的提升。和CPU內存的納秒級別工作頻率比起來，還是太慢了。
在計算機界，沒有緩存解決不了的速度問題，如果有，那就再加一層。現代磁盤本身也基本都帶了緩存，另外在一些比較新的raid卡里，硬件開發者們又搞出來了一層“內存”，並且還自己附帶一塊電池，這就是RAID卡緩存。 我們看下幾款主流RAID卡的配置：
- PERC S120 入門軟件陣列卡，主板集成無緩存 支持RAID0 1
- PERC H330 入門硬件RAID卡，無板載緩存, 支持RAID 0 1 5 10 50
- PERC H730 主流硬件RAID卡帶有1G緩存和電池 支持RAID 0 1 5 6 10 50 60
- PERC H730P 高性能硬件RAID卡帶有2G緩存和電池 支持RAID 0 1 5 6 10 50 60
- PERC H830 同H730P,沒有內置接口，使用外置接口連接附加存儲磁盤櫃用
拿目前服務器端出鏡率比較高的H730和H730P來看，他們分別帶了1G和2G的緩存卡，並且自帶電池。 電池的作用就是當發現主機意外斷電的時候，能夠快速把緩存中的數據寫回到磁盤中去。對於寫入，一般操作系統寫到這個RAID卡里就完事了，所以速度快。對於讀取也是，只要緩存里有，就不會透傳到磁盤的機械軸上。
另外想再補充說一點的就是文件相關函數里設置DIRECT I/O僅僅只能繞開操作系統本身的Page Cache,而RAID卡里的緩存，對於Linux來說，可以說算是一個黑盒。換句話說，就是操作系統並不清楚RAID卡是從緩存里吐的數據，還是真正從硬盤里讀的。
動手查看你的RAID配置
了解了raid基本原理以后，我們可以實際動手查看一下機器上的raid情況。這里拿我手頭的一台服務器舉例。
通過cat /proc/scsi/scsi，我們可以查看到raid卡的型號
Host: scsi10 Channel: 02 Id: 01 Lun: 00
Vendor: DELL Model: PERC H730 Mini Rev: 4.27
Type: Direct-Access ANSI SCSI revision: 05
可以看到我的這台服務器raid卡使用的是PERC H730， 這塊RAID卡帶有1G緩存和電池。
再看我們的硬盤陣列
# /opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -Lall -aALL
Virtual Drive: 1 (Target Id: 1)
Name :
RAID Level : Primary-5, Secondary-0, RAID Level Qualifier-3
Size : 1.633 TB
Sector Size : 512
Is VD emulated : No
Parity Size : 278.875 GB
State : Optimal
Strip Size : 128 KB
Number Of Drives : 7
Span Depth : 1
RAID Level列標明的就是當前RAID組的RAIN級別。對照下面
- RAID 1: Primary-1, Secondary-0, RAID Level Qualifier-0 RAID 1
- RAID 0: Primary-0, Secondary-0, RAID Level Qualifier-0 RAID 0
- RAID 5: Primary-5, Secondary-0, RAID Level Qualifier-3 RAID 5
- RAID 10: Primary-1, Secondary-3, RAID Level Qualifier-0 RAID 10
可以看到，本機RAID Level是RAID5。
另外Strip Size叫做條帶大小，我機器上的配置是128KB。假如有一個512KB的文件，它就會被分成4個條帶，每個128KB。這些條帶可能會分散在不同的磁盤上，如果一次性讀取的話，多個硬盤就可以一起轉動機械軸，讀取速度就會提高到原來的數倍。不過要說明的是，如果文件小於這個條帶大小，小於128K，那么RAID下的多塊硬盤對於該文件的讀取耗時也不會有幫助。
繼續查看組成RAID的所有的磁盤的狀況：
#/opt/MegaRAID/MegaCli/MegaCli64 -PDList -aALL
......
Drive's position: DiskGroup: 1, Span: 0, Arm: 0
Device Id: 1
...
Raw Size: 279.396 GB [0x22ecb25c Sectors]
Non Coerced Size: 278.896 GB [0x22dcb25c Sectors]
Coerced Size: 278.875 GB [0x22dc0000 Sectors]
Sector Size: 512
Logical Sector Size: 512
Physical Sector Size: 512
Inquiry Data: SEAGATE ST300MM0008 TT31S42310JR
...
...
...
Drive's position: DiskGroup: 1, Span: 0, Arm: 6
Device Id: 7
Raw Size: 279.396 GB [0x22ecb25c Sectors]
Non Coerced Size: 278.896 GB [0x22dcb25c Sectors]
Coerced Size: 278.875 GB [0x22dc0000 Sectors]
看到屬於DiskGroup 1的總共有7塊硬盤，每塊的大小都是278GB左右。6塊盤的總容量大小就是1.6T左右，確實是只“浪費”了一塊硬盤的容量來保障數據的安全性！
另外Inquiry Data也顯示了硬盤的制造商，已經型號。這些磁盤都是希捷的300G的機械硬盤，經Google查詢其轉速為1萬轉每分鍾。
本文小節
機械技術和電子技術比較起來，穩定性要差很多。所以機械背景出身的硬盤既慢又容易壞。為了解決這個問題，RAID技術應運而生。通過一定的冗余原始存儲或者校驗數據提供安全性的保障，通過增加帶電子基因的緩存，合理調度多塊磁盤的機械軸，提高了磁盤IO的讀寫速度。在Linux下可以通過MegaCli工具來查看你的RAID組情況，強烈你建議實際動手查看一下！
開發內功修煉之硬盤篇專輯：
- 1.磁盤開篇：扒開機械硬盤堅硬的外衣！
- 2.磁盤分區也是隱含了技術技巧的
- 3.我們怎么解決機械硬盤既慢又容易壞的問題？
- 4.拆解固態硬盤結構
- 5.新建一個空文件占用多少磁盤空間？
- 6.只有1個字節的文件實際占用多少磁盤空間
- 7.文件過多時ls命令為什么會卡住？
- 8.理解格式化原理
- 9.read文件一個字節實際會發生多大的磁盤IO？
- 10.write文件一個字節后何時發起寫磁盤IO？
- 11.機械硬盤隨機IO慢的超乎你的想象
- 12.搭載固態硬盤的服務器究竟比搭機械硬盤快多少？
我的公眾號是「開發內功修煉」，在這里我不是單純介紹技術理論，也不只介紹實踐經驗。而是把理論與實踐結合起來，用實踐加深對理論的理解、用理論提高你的技術實踐能力。歡迎你來關注我的公眾號，也請分享給你的好友~~~