0x00 前言簡述
描述: 由於最近公司來了一批華為的服務器以及存儲，來的時候真的感到非常意外因為從中標到接貨超過了1個半月,其間還因為各種事進行推延； 在現場實施人員完成服務器上架以及測試后，由於業務的需求需要將其中的兩台安裝VMware ESXI將另外幾台服務器安裝修改后的CentOS7服務器系統，為后面kubernetes集群搭建做准備;
機器基礎配置一覽:
廠商: Huawei
機器型號: 2488H V5 產品結構: 2U CPU: Intel Xeon Gold 6130 (十六核心/三十二線程) CPU Type: Skylake 內存: 512G 磁盤: 600G X 2 BIOS 平台: Purley 陣列卡: MSCC SmartRAID 3152-8i 控制卡 HBA卡 iBMC:5.06 iBMC IP: 192.168.2.100
官方產品地址: FusionServer Pro智能服務器 > 機架服務器 > 產品型號: 2488H V5
BIOS平台與CPU型號對照表:
WeiyiGeek.BIOS-CPU
0x01 硬件基礎介紹
1.陣列卡 MSCC SmartRAID 3152-8i
描述:MSCC SmartRAID 3152-8i控制卡（以下簡稱3152-8i）提供2個12Gbit/s的mini SAS HD接口，支持PCIe 3.0接口，並支持最多8個phy。它用於提高系統性能，並提供數據容錯存儲功能，支持數據的多硬盤分片存儲，支持多硬盤同時讀/寫訪問，有效降低硬盤數據訪問延時。
Q: 什么是phy? 答: 全稱為
Physical Layer物理層的芯片,一般PHY芯片為模數混合電路，負責接收電、光這類模擬信號，經過解調和A/D轉換后通過MII接口將信號交給MAC芯片(純數字電路)進行處理。物理層定義了數據傳送與接收所需要的電與光信號、線路狀態、時鍾基准、數據編碼和電路等，並向數據鏈路層設備提供標准接口。
MSCC SmartRAID 3152-8i控制卡自帶的Cache對標卡性能的提升有非常重要的作用，主要體現在：
- 在寫數據時，直接寫入Cache，當寫入的數據積累到一定程度，RAID卡才將數據刷新到硬盤，這樣不但實現了批量寫入，而且
Cache作為快速讀寫設備，其本身的讀寫速度都遠高於硬盤，因此采用 Cache后，整個設備的寫數據速度得到提高。 - 在讀數據時，如果可以直接在Cache中命中的話，將減少磁盤尋道操作，降低響應時間，提升了數據讀速度。
3152-8i安裝在服務器的PCIe槽位上，結構如圖所示。
WeiyiGeek.
3152-8i 基本參數(我選擇有賣點的特性參數)
接口速率 (Gbit/s) ：12 支持的RAID組數量 ：64 單個RAID組支持的最大硬盤數 : 128 所有RAID組包含的最大硬盤數量: 238 硬盤直通模式支持的硬盤數量：238 支持的最大硬盤數：238 支持的熱備盤個數：32（每個Array最多支持4個熱備盤） MaxCache支持的SSD最大個數：128 MaxCache最大容量：6.8TB MaxCache是否支持熱備：否 MaxCache支持的RAID級別: 0/1/10/5 支持的RAID級別：RAID 0/1/1ADM/10/10ADM/5/50/6/60 是否支持設置條帶單元: 是（可設為16KiB/32KiB/64KiB/128KiB/256KiB/512KiB/1024KiB） 是否支持RAID級別在線遷移：是 是否支持在線擴容：是 是否支持硬盤直通: 是 是否支持SSD IO Bypass:是 是否支持4K盤：是 #備注1：MaxCache即SSD Cache，Microsemi將該功能定義為“MaxCache”。
3152-8i 基本功能
- 支持多種RAID級別：3152-8i最多支持238個硬盤，最多支持64個Array，每個Array最多支持64個LD（Logical Driver），整張RAID卡所有Array最多支持64個LD。
WeiyiGeek.RAID級別
- 支持多種工作模式
- RAID模式：控制器下的邏輯盤會上報OS，但直通盤不會報送給OS。
- HBA模式：控制器的所有RAID功能都被禁用，控制器下所有硬盤都被視為直通盤。
- Mixed模式：RAID邏輯盤和直通盤都會報送給OS。
- 硬盤熱備份
- 硬盤熱插拔：請確認拔掉硬盤與插上硬盤的時間間隔在30s以上，以避免造成硬盤無法被識別。
- 重建
- 硬盤分條
- 硬盤直通: 又稱指令透傳，是不經過傳輸設備處理，僅保證傳輸質量的一種數據傳輸方式。在不配置虛擬磁盤的情況下，用戶指令可以直接透傳到硬盤，方便上層業務軟件或管理軟件訪問控制硬盤
- 例如，服務器操作系統安裝過程中，可以直接找到掛載在3152-8i下的硬盤作為安裝盤；而不支持硬盤直通的RAID卡，在操作系統安裝過程中，只能找到該RAID卡下已經配置好的虛擬磁盤作為安裝盤。
- 擦除硬盤數據：支持“Erase Disk”即安全擦除指定硬盤；數據擦除過程中，不能執行關機，重啟，插拔硬盤等操作，否則會導致硬盤被損壞。
- 容量擴展
- 讀寫高速緩存
- 數據掉電保護
- 硬盤指示燈
- 硬盤Fault指示燈(故障-黃色)：
滅：表示硬盤運行正常；黃色閃爍：表示硬盤處於被定位狀態或RAID重構狀態；黃色常亮：表示硬盤故障或RAID組中的成員盤狀態異常。 - 硬盤Active指示燈(正常-綠色):
滅：表示硬盤不在位或硬盤故障;綠色閃爍：表示硬盤處於讀寫狀態或同步狀態; 綠色常亮：表示硬盤處於非活動狀態。
- 硬盤Fault指示燈(故障-黃色)：
- 外部配置導入：當包含RAID配置信息的硬盤插入服務器后，服務器在啟動過程中識別到當前硬盤配置符合該外部配置要求時，自動導入外部配置。
Q: 什么是Array? 答:Array即通常所說的硬盤組，每個Array可以包括1個或多個LD。
參考地址:https://support.huawei.com/enterprise/zh/doc/EDOC1100048779/b1eeb02e
0x02 操作系統安裝
0.華為設備缺省信息
默認的賬號及其密碼，采用其可以登陸修改BIOS以及進入iBMC界面
# V1調試密碼：[email protected] # V1/V2/V3/V5存儲，IP:192.168.128.101/102(A/B) 用戶名/密碼：admin/[email protected](默認） 用戶名/密碼：admin/Huawei12#$ # V2/V3服務器 IP:192.168.2.100 iBMC 控制台 (賬號密碼) 用戶名/密碼：root/Huawei12#$ #V5服務器 IP:192.168.2.100 iBMC 控制台 (賬號密碼) 用戶名/密碼：Administrator/[email protected]
1.准備工作
描述: 下面描述都以2488H V5服務器為例進行講述,系統開機功能界面選擇:
# iBMC
- 版本
- 管理地址 # 功能參數 Del -- 服務器BIOS F11 -- 啟動項選擇 F12 -- 網絡啟動 F3 -- 啟動項選擇(遠程鍵盤) #通過網頁訪問或者KVM的時候使用、 F4 -- 服務器BIOS(遠程鍵盤) F6 -- SP Boot(Smart Provisioning) #系統安裝
WeiyiGeek.
服務器系統安裝流程如下:
WeiyiGeek.
1.1 BIOS默認設置： 華為服務器在出廠時已設置為最優的配置，我們強烈推薦您使用默認的BIOS設置，如果修改請在服務器BIOS POST過程中按下Delete鍵，進入BIOS SETUP菜單，按下F9加載默認配置。
例如，下表是使用VMware系統時的BIOS推薦設置；
|
BIOS選項 |
推薦值 |
|---|---|
|
Hyper-Threading[ALL] |
Enabled |
|
Monitor/Mwait[1] |
Enabled |
|
VMX |
Enabled |
|
PCIe SR-IOV |
Enabled |
|
Intel VT for Direct I/O(VT-d) |
Enabled |
|
Interrupt Remapping |
Enabled |
|
PCI 64-Bit Resource Allocation |
Enabled |
|
Hardware Prefetcher |
Enabled |
|
Adjacent Cache Prefetch |
Enabled |
|
DCU Stramer Prefetcher |
Enabled |
|
DCU IP Prefetcher |
Enabled |
|
注1：Monitor/Mwait選項值對EVC兼容性的影響參見關於Monitor/Mwait和EVC兼容性。 |
在部署系統前，請確認服務器BIOS、BMC等都已經更新到最新版本。
- Huawei服務器2488H V5補丁版本: https://support.huawei.com/enterprise/zh/intelligent-servers/2488h-v5-pid-22350433/software
- Huawei服務器系統兼容檢測：https://support-it.huawei.com/ftca/zh/product/rack-server
- Huawei服務器系統系統安裝：https://support.huawei.com/enterprise/zh/doc/EDOC1000040218/512b2e65
1.2 系統時間設置 描述:如果系統時間不正確就需要進行調整，此時您需要在BOIS中進行設置系統時間 ; BIOS Setup Utility -> 在菜單欄中，選擇“Main”頁簽 -> 選擇“System Time” -> 選擇“System Date”
1.3 啟動順序調整 在菜單欄中，選擇“Boot > Boot Sequence”，按“Enter” -> 進入“Boot Sequence”界面 按照最下面的操作提示進行;
2.創建Riad陣列磁盤
描述:在BIOS中“Boot Type”設置為“UEFI Boot”模式時，打開的管理界面如下所述。我們在EFI/UEFI模式下我們進行raid的初始化配置;
Step 1.登錄管理界面BIOS版本為V363及以下, 啟動服務器過程中在顯示IMBC IP地址界面按“F11”，彈出密碼輸入框（輸入默認的BIOS密碼[email protected]）。
WeiyiGeek.
Step 2.Front Page界面 -> 選擇“Device Manager”並按“Enter” -> 選擇要操作的MSCC SmartRAID 3152-8i控制器，按“Enter”進入如圖所示界面
WeiyiGeek.
Step 3.設置RAID卡工作模式”Configure Controller Settings>Modify Controller Settings“的順序進入“Modify Controller Settings”界面, 選擇“Port CN0 Mode”並按“Enter”, 最后再選擇“Port CN0 Mode”並按“Enter”。
#3152-8iRAID卡支持三種工作模式，分別為： RAID：控制器所有的RAID功能都被啟用，但直通盤不會報送給OS。 Mixed：RAID邏輯盤和直通盤都會報送給OS。 HBA：控制器所有的RAID功能都被禁用，控制器下所有硬盤均被視為直通盤。
WeiyiGeek.
Step 4.在MSCC SmartRAID 3152-8i控制器主界面中，進入“Array Configuration”界面 -> 選擇Create Array 進入成員盤選擇界面 -> 選中硬盤后，按“Enter”鍵，將硬盤加入Array。;
# 硬盤狀態為“Enabled”時表示硬盤被選中。
# RAID 1支持的硬盤個數為2。
Step 5.選擇“Proceed to next Form”並按“Enter”進入RAID級別選擇界面 -> 選擇要配置的Array級別“RAID1“ -> 最后選擇“Submit Changes”並按“Enter” -> 提示創建成功按“Enter”返回主界面。
|
參數 |
說明 |
|---|---|
|
Logical Drive Label |
LD的自定義標簽。 |
|
Strip Size/Full Stripe Size |
Strip Size：單個物理盤的條帶大小，可設置為16KiB/32KiB/64KiB/128KiB/256KiB/512KiB/1024KiB，默認值為256KiB。Full Stripe Size：整個LD的分條大小。當設定Strip Size后，系統會自動計算出Full Stripe Size。 |
|
Size |
整個LD的容量大小。 |
|
Unit size |
LD的容量計算單位。 |
|
SSD Over Provisioning optimization |
設置在創建由SSD組成的RAID組時，是否啟用SSD Over Provisioning。 DisabledEnabled 說明： 只有當RAID組由SSD組成時，才能設置該屬性。 |
|
Acceleration method |
設置LD所采用的加速方法。 SSD I/O Bypass（只有當LD由SSD組成時，該選項有效）Controller cache（同時使用讀Cache和寫Cache）None（禁用加速，表示既不使用SSD I/O Bypass，也不使用Controller Cache，即無任何加速。） |
|
Submit Changes |
確認修改。 |
WeiyiGeek.
Step 6.檢查配置結果按照“Array Configuration > Manage Arrays”的順序進入剛才創建的Array A組中；
|
參數 |
說明 |
|---|---|
|
Array Type |
Array的類型。 |
|
List Logical Drives |
邏輯盤相關的接口，可查看、修改邏輯盤的屬性，刪除邏輯盤等。 |
|
Create Logical Drive |
創建邏輯盤。 |
|
IO Bypass Settings |
設置SSD在不使用Controller Cache時的邏輯盤加速方法。 說明： 該特性即為讀寫高速緩存所述的“SSD I/O Bypass”。SSD組成的RAID組在使能Controller cache的情況下無法使能IO Bypass功能。如需使能IO Bypass，需要先禁用RAID組的Controller Cache，再使能IO Bypass。 |
|
Manage Spare Drives |
熱備盤相關的接口，可創建，刪除熱備盤等。 |
|
Identify Device |
點亮/熄滅硬盤locate燈。 |
|
Delete Array |
刪除Array。 |
然后選擇“List Logical Drive”並按“Enter”查看LD的相關屬性 -> 之后在選擇“Logical Drive Details”並按“Enter”
WeiyiGeek.List Logical Drive
Step 7.至此RAID 1 磁盤陣列完成設置;
注意事項:
- 1) 配置多個RAID組或包含多個VD的RAID組后，必須配置啟動項，否則可能會導致操作系統安裝異常
- 2) 安裝好服務器系統可以采用ARCCONF工具進行即可執行RAID卡管理查看等相關命令;
3.系統安裝
描述: Huawei服務器有兩種安裝方式：
- 直接安裝方式: 方便簡潔，但是由於沒有鏡像兼容性檢測，可能導致系統安裝后缺少驅動導致服務器或FC存儲設備不能被識別;
- Smart Provisioning方式安裝:它一個操作系統的安裝引導工具，簡化了工程師在本地安裝操作系統和驅動的過程。此方式要求iBMC 2.64以上版本以及BIOS 0.37以上版本。具體支持的服務器請使用智能計算產品兼容性查詢助手進行查詢。您可以使用Smart Provisioning集成在主板的方式引導安裝系統，也可以使用掛載Smart Provisioning鏡像的方式引導安裝系統。# 注意事項 使用Smart Provisioning安裝操作系統時，需要格式化待安裝操作系統的硬盤，請在安裝操作系統前備份硬盤數據。 在Legacy模式下安裝操作系統時，請使用容量在2TB以下的硬盤。
(1) 直掛載鏡像方式安裝流程: Step 1.利用網頁或者KVM登錄服務器iBMC平台進行管理(將連接的機器配置同一網段下的IP即可)
WeiyiGeek.
Step 2.將ISO鏡像進行掛載連接，然后重啟服務器后在功能選擇界面選擇F11
WeiyiGeek.
Step 3.輸入缺省密碼后選擇啟動項然后加載鏡像並進行進行安裝;
WeiyiGeek.
(2)Smart Provisioning 方式安裝流程: Step 1.同樣是先通過KVM或者ibmc網頁端把進行連接，然后重新服務器在功能選擇界面選擇F6進入SP BOOT(此處需要輸入密碼)，根據系統的配置此處可能等待時間較久；
WeiyiGeek.SP BOOT
Step 2.進入 Smart Provisioning 之后，點擊 Start 出現以下界面，然后再次點擊安裝操作系統即可；
WeiyiGeek.
Step 3.選擇安裝的鏡像，此處我們進行自定義即可，然后選擇安裝系統的版本，此處建議安裝的是7.6，由於Smart Provisioning 現在默認最高支持CentOS7.6, 但是經過測試發現安裝 7.8 也沒問題只是在最后的安裝結束前會報錯，但是機器重啟后可以正常的進入到系統之中;
WeiyiGeek.CentOS7.6
Step 4.安裝磁盤選擇與確認操作
WeiyiGeek.
Step 5.掛載鏡像后點擊進行下一步，此時系統會自動安裝系統到磁盤並將硬件驅動也一並安裝;
WeiyiGeek.
Step 6.系統安裝完畢后將會重啟服務器(不得不說華為的服務器啟動真的是…此時略5-6分鍾)，加載安裝的UEFI模式的操作系統
WeiyiGeek.
Step 7.進入CentOS 7.6系統初始化安裝配置界面(此處不再多說與描述)
WeiyiGeek.
Step 8.安裝完成后進行系統，可以在root家目錄中查看通過Smart Provisioning安裝后所留的硬件設備以及存儲FC SAN的驅動等
WeiyiGeek.
0x03 華為服務器ESXI安裝實踐
描述: 請按照上述流程進入Smart Provisioning界面之中，然后選擇開始進行按照下面操作部署EXSI；
1.基礎安裝
- Step1.EXSI安裝版本的選擇此處最高可選擇 ESXI 6.7 版本的鏡像進行安裝
WeiyiGeek.1
- Step2.選擇我們將要安裝的磁盤，本來服務器中有兩塊盤由於做了Raid1所以空間只有大約600G，選擇下面的磁盤進行安裝
WeiyiGeek.2
- Step3.掛載鏡像后點擊下一步進行ESXI系統的安裝;
WeiyiGeek.3
- Step4.加載鏡像到內存后將會自動重啟服務器，進入到ESXI安裝界面之中;
WeiyiGeek.4
2.后續配置
FW和驅動配套檢查
描述：有些板卡的驅動和FW是存在配套關系，系統安裝完以后，我們建議您進行驅動和FW的配套檢查，方法如下： (1) 運行idriver驅動包中的install.sh腳本。
sh install.sh
(2) 選擇“2: To check the current module information and driver version”。
執行以后，FW和驅動的檢查結果如下圖。其中： “CurrentDriverVer”：代表系統中當前使用的驅動版本 “NewDriverVersion”：代表系統推薦使用的驅動版本 “CurrentFirmwareVer”：代表當前的FW版本 “NewFirmwareVersion”：代表推薦使用的FW版本
(3) 執行以后，如果發現“CurrentFirmwareVer”不等於“NewFirmwareVersion”，或者“CurrentDriverVer”不等於“NewDriverVersion”需要對FW和驅動進行更新
系統優化配置
電源優化
描述:Power Management Policy設置為了在esxi系統下實現最佳的性能和穩定性。要實現Power Management Policy設置功能，您必須在華為服務器BIOS中將“Hardware P-States”選項設置為“Native Mode”。
配置流程:
主機 -> Manager(管理) -> Hardware(硬件) -> Power Management Policy -> Change policy -> 設置為 High performance
CPU 優化 描述:在系統下關閉C state，關閉CPU的C state可以獲得更好的性能，在esxi系統下禁用C state的方法如下。 進入Manage界面，選擇Power.CstateMaxLatency, 然后設置為0。
WeiyiGeek.C state
描述:Monitor/Mwait和EVC兼容性建議您檢查集群中服務器是否都是同一代CPU架構，如果集群中服務器都是同一代CPU架構，在這種情況下EVC特性是不起作用的，建議您關閉集群的EVC特性，對使用上沒有任何影響。 如果您的集群中存在不同代CPU架構的服務器，並且要啟用集群的EVC特性，您必須在華為服務器BIOS中將MONITOR/MWAIT特性設置為Enabled。
設置流程:BIOS untility -> MONITOR/MWAIT -> Enabled;
0x04 F&Q
1.iBMC 管理地址設置
描述: 登錄iBMC平台后選擇 配置 -> 網絡配置 -> IPV4進行設置(ip/子網/默認網關) ,配置完成后原管理地址立即失效，請訪問新的管理地址;
WeiyiGeek.iBMC 管理地址
2.服務器安裝系統啟動模式的選擇
描述:啟動模式的修改根據需要在“Boot”頁簽中選擇“Boot Type”為“UEFI Boot”或“Legacy Boot”;
當服務器配置了較多的可啟動設備時，在Legacy模式下可能出現部分設備無法正常啟動，建議使用UEFI模式啟動，UEFI模式較Legacy模式可以支持更多可啟動設備；如需要使用Legacy模式，建議根據實際業務場景禁用串口重定向或網卡PXE等，確保操作系統可以正常啟動，具體操作請參考各平台BIOS參數參考的“設置網卡的PXE”和“設置串口重定向”章節。
注意事項:
# 1.兩種模式下引導顯示異同 - 在Legacy模式下: 當服務器配置了支持從Legacy啟動的RAID卡或物理硬盤時，Hard Disk Drive列表顯示具體的RAID卡或者物理硬盤信息，可以通過調整其順序來調整啟動設備。 - 在UEFI模式下： 當服務器硬盤未安裝OS時，Hard Disk Drive列表下不存在啟動項，此時OS安裝過程中選擇用來安裝OS的硬盤即為啟動盤。 當服務器硬盤已安裝OS時，Hard Disk Drive列表將顯示具體的OS版本，可以通過調整OS順序來調整啟動設備。 # 2.兩種模式下切換注意 如果服務器已經在Legacy或者UEFI模式下安裝OS，切換啟動方式后將無法進入操作系統，需要切換為安裝時的啟動方式再進入，如操作系統需要重裝，請根據實際情況選擇是UEFI 或Legacy 模式安裝OS。 # 3.兩種模式下硬盤容量的關聯 如果待安裝的硬盤或RAID組容量大於2TB，需要將啟動模式設置為UEFI Boot，新機器還是推薦使用該啟動模式，除非額外的硬件不允許的條件下選擇Legacy啟動; 如果服務器安裝了NVMe硬盤，並在該硬盤上安裝OS，只能將啟動模式設置為UEFI Boot。