實戰利用LVM卷鏡像技術實現不停業務的數據在線遷移，核心存儲升級混閃V7000F
一、介紹
所有數據從舊設備到新設備實現了高速在線遷移，業務系統進行了無縫銜接。整個遷移、切換過程關鍵設備零重啟，對用戶正常操作ERP畫面未造成任何影響。
二、目的和意義
存儲設備運行更加穩定
新的IBM V7000存儲（2076-624）屬於V7000系列的第三代產品，2016年9月投入市場。存儲系統的設計從控制器、數據通道、I/O接口，到磁盤環路都是采用冗余結構，理論上不存在系統本身的單點故障問題。該產品依靠其卓越的穩定性、可靠性及獨特的人性化配置界面在市場占有率上一直位居前列，在同行中具有良好的口碑。
設備性能顯著提高
ERP核心存儲中存放的數據多為ERP應用和DB2數據庫數據，數據處理類型多為OLTP聯機事務處理，對數據處理的響應速度有較高的要求，因此新存儲應優先考慮其IOPS性能指標，即單位時間內的存儲系統能夠處理的IO請求數量，使新存儲有較高的隨機數據訪問處理速度。另一方面，新存儲系統應有較高的存儲緩存性能，較大的存儲緩存會顯著提高存儲的讀寫速度。
舊的存儲系統配置為16GB緩存，24塊300GB 轉速為10000RPM的普通SAS硬盤，存儲機型的CPU和緩存性能較低，並且由於硬盤的轉速較低，存儲無法提供更多的IPOS讀寫，存在一定的性能瓶頸，限制了存儲數據讀寫訪問速度。
新的存儲系統配置為雙控制器，256GB高速緩存，8個16Gbps光纖接口，冗余電源等特性，存儲硬盤為6塊單盤1.92TB Flash固態閃存硬盤+8塊900GB 轉速為15000RPM的SAS硬盤，無論是從容量的擴展性還是系統CPU、緩存性能方面都有了較大提升，完全能夠滿足當前和未來五年內的ERP數據量需求。
三、技術介紹
LVM Mirror（Logical Volume Manager Mirror）：邏輯卷管理器的數據鏡像技術。這是一種雙磁盤系統數據同步復制機制，是基於IBM主機系統和IBM存儲系統相互配合使用的，是目前技術成熟度高，實施快速簡便，應用行之有效的數據冗余方式。
新增存儲設備后的拓撲：
新映射的卷在AIX系統中通過HACMP高可用集群軟件加入到原來的VG卷組中，通過卷鏡像技術實現數據的同步復制。
為了實現數據的同步，我們利用數據鏡像功能LVM，為已有的磁盤A（下圖所示之“VG中原邏輯卷LV”）上的生產數據添加一個拷貝，並將其鏡像設備指定為磁盤B（下圖所示之“VG中新增邏輯卷LV”）。
正常工作模式下，數據的寫入操作可以用下圖說明：
生產系統對磁盤A數據的任何更新都實時地寫入磁盤B中，二者的更新方式可以選擇順序方式或者並行方式，建議使用並行方式（雙寫模式）以增加整體性能。
四、 方案選型與設計
1、技術路線
考慮到之前舊存儲磁盤讀寫性能瓶頸問題，尤其是數據庫讀寫頻繁的情況下，數據庫所在hdisk的busy使用率一直居高不下。在選型中優先考慮閃存盤。
關於V7000升級到閃存，經過調研了解，主要有三條路線如下：
成本較低，比較老的一代V7000可以新購5030F來滿足閃存功能；二代及以上V7000可以直接加閃盤升級為V7000F。
如果用戶已有虛擬機的功能，可以升級到V7000G3（V9100低配版）來實現閃存功能。
如果對閃存的性能要求較高，做長遠的規划，可以購買起配容量較高的F900/FS9100（壓縮能力強），性價比高。
2、適用場景
V7000F：
配置：最大八控制器；最大1024GB緩存；每控制器10核Intel CPU；64個前端FC接口；支持24塊盤2U擴展櫃；支持96塊盤5U擴展櫃；支持Flash。支持SAS、NL_SAS。適用於大部分的應用場景，具有豐富的存儲功能。V7000F的性能與所配置的閃存盤的數量有很大關系。由於其可以根據企業業務自身需求情況，配置閃存盤數量，所以對於業務壓力不是極端條件下的系統，此方案在性價比上非常不錯。
V7000G3：
關於V7000G3，沒有找到太多詳細資料，個人對此產品不是十分了解。在此就放上找到的兩種產品資料圖，作為代表。
F900：
全閃存F900適用於用戶需要極致的IO響應速度，對於存儲功能要求少的場景，或者結合SVC來使用。F900特別適用於關鍵應用加速、AI模型訓練等場景。第一代F900配置12個模塊的SPC-1測試為40多萬IOPS，而且響應時間都在0.5ms以內。比較適合的場景如：
•在線交易處理（OLTP）
•在線分析處理（OLAP）
•虛擬桌面基礎架構（VDI）
•雲規模的基礎架構
•計算型應用
talkwithtrend社區（twt社區）內有詳盡的F900技術手冊及應用場景介紹，在此我就不進行過多介紹了，有興趣的可以在社區進行搜索。
經過充分考慮，在本方案中，新購一台IBM V7000作為新的核心存儲系統，原存儲充分利舊，作為容災備用存儲。新存儲中創建與原存儲具有相同容量和數量的存儲卷，影射給主機。在主機操作系統中通過HACMP高可用軟件將新增邏輯卷加入到原卷組VG中做LVM的卷鏡像，數據同步的過程可全程在線操作，數據復制在后台完成，整個過程無需對業務進行停機。當數據初次復制完成后，新購存儲卷將與原來的存儲卷保持數據同步的一致性關系，新業務產生的數據將在兩套存儲中各寫一份。
五、具體實現
1、遷移前的的准備工作：
機房現狀梳理：
主要是為了充分了解機房實際運行環境，規划設備安裝位置，確定其他主機存儲設備狀態，包括小型機、光纖交換機等，收集交換機zone和端口狀態信息，並在了解當前和未來具體技術需求后，確認本次項目的技術實施方案，與業務單位協調實施計划等。
設備到貨安裝：
新存儲到貨之后，協調倉庫驗貨簽收。在對設備進行初步外觀檢驗后，將設備運送至機房並拆箱上架安裝，將設備安裝至機櫃，並連線到光纖交換機，對新設備進行加電初始化，在初始化步驟完成后，登錄存儲管理界面檢查系統硬件配置是否符合招標及合同要求。
光纖交換機配置：
在新V7000設備連線后，需要對現有的兩台B24交換機的zone進行配置，V7000的A控和B控分別連接兩台光交，交換機端口使用12口和13口。
V7000 A控1口連接B24_up的12口，2口連接B24_down的12口
V7000 B控1口連接B24_up的13口，2口連接B24_down的13口
在光交命令行中利用zonecreate命令進行端口配置，cfgadd命令配置config文件，最后cfgsave保存。
1.1、根據原來存儲系統的配置情況，記錄划分的卷、唯一標識號、與主機間的映射關系等。
1.2、根據舊存儲上卷(LUN)的划分情況，對新存儲進行相關配置。為方便做鏡像，划分卷時容量大小與舊存儲上卷大小保持一致。如果需要擴容，請新建卷。配置完成后映射給相關主機。
新V7000的RAID配置：
本次V7000實際配置硬盤包括：6塊1.92TB SSD硬盤，8塊900GB SAS硬盤。根據實際業務需求，分別創建兩個存儲池SSD_Pool和SAS_Pool。SSD硬盤和SAS硬盤分別保留一塊盤作為熱備盤，剩余硬盤分別創建RAID 5，然后分別加入至存儲池中。在RAID創建完成后，SSD存儲池可用容量約7TB，SAS存儲池可用容量約4.9TB。
LUN配置：
根據實際需求，在新V7000中創建LUN，用於后期LVM數據鏡像復制，故新創建的LUN大小和數量應與現有V7000保持一致。如需擴容，可新增LUN。
創建主機：
在zone划分完成后，在每台主機系統中運行cfgmgr命令掃描新光纖設備，而后在新V7000中創建主機，按照前期統計的每台主機光纖卡的WWN號分別進行添加。
存儲卷映射：
將新創建的LUN按照現有V7000存儲的映射關系對每個LUN進行主機映射，映射操作完成后，在AIX操作系統中運行cfgmgr命令即可掃描發現新硬盤，在掃描到磁盤后，在主機系統中查看磁盤狀態和鏈路是否正常，lsdev –Cc disk狀態應為可用狀態，磁盤多路徑鏈路應為自動聚合。
微碼升級：
為保障新購V7000存儲的后期穩定運行，將新購V7000存儲的微碼進行升級，以降低存儲軟件運行故障風險，升級存儲至最新穩定版本7.8.1.7，升級過程約1個半小時。
至此，數據遷移前的各項准備工作已完成。為了數據安全及檢測硬件設備運行狀況是否穩定，可讓新的V7000在沒有數據的情況下加電運行一周進行觀察。待一切都沒有問題后再進行數據遷移操作！
2、數據遷移：
本文以DB2數據庫數據同步為例，詳細講述整個操作過程：
2.1、新存儲上划分卷lun_db1\lun_db2，卷容量大小建議與原存儲上卷相等，便於后面做鏡像。（圖中lun_db3為以后擴容卷）
按照規划，DB01上的數據庫卷運行與SSD固態盤池中，其余文件系統運行於SAS普通盤池中。
如果需要擴容，可以新建卷，等數據同步完畢后再擴容。
2.2、根據HA高可用規則，將共享卷映射給主機DB01。
2.3、DB01小機AIX系統中運行cfgmgr –v 刷新設備。lspv查看新映射過來的物理設備。新卷hdisk6和hdisk7無PVID號。
此時，AP01已經遷移完畢。hdisk2是原存儲上的apvg。hdisk5是新存儲上的卷。我們的目標是將新卷hdisk6和hdisk7添加到dbvg中，利用hdisk3和hdisk4做mirror鏡像。
2.4、利用命令chdev –l hdisk6(disk7) –a pv=yes給新磁盤賦予PVID號。
PVID號是磁盤的全局唯一ID號。
2.5、利用命令bootinfo –s hdisk6(hdisk7)可以查看每個磁盤的大小。
當有多個大小不同的卷映射到同一小機時，借助此命令可以幫助用戶區分不同的磁盤 。
2.6、將hdisk6和hdisk7分別通過HA集群命令添加至dbvg中。
#smit cl_admin 進入ha
選擇需要增加卷的VG
根據PVID號選擇需要加入VG中的新卷hdisk6。再來一遍添加hdisk7，此處不能同時選擇兩個或多個卷。
2.7、驗證是否已經加入VG中。命令# lspv
2.8、dbvg內部做鏡像，數據做同步。命令# smit cl_admin->Storage->Volume Groups->Mirror a Volume Group
選擇dbvg后，選擇需要同步的目標盤（新盤） hdisk6和hdisk7 同步模式的時候，選擇不同步no sync（此時，因為dbvg太大 最好/db2 、/db2backup分別進行同步）
鏡像完成后，選擇同步。
# lsvg -l dbvg
查看vg中的lv個數，通過LV逐個進行數據同步。
分別選擇db2lv、loglv01、db2backuplv進行同步。
2.9、數據同步過程中驗證同步進度。# lspv查看同步進度 stale PPs
圖為同步db2backuplv時的過程。stale PPs數逐漸變小，當stale PPs為0時，同步完成。
同步過程中隨時關注磁盤性能：
數據從hdisk4讀出，寫入至新卷hdisk7中。數據同步的過程中，新業務數據雙寫。
同步完畢后狀態：LPs:PPs=1:2
2.10、觀察一段時間，驗證業務是否正常。
2.11、unmirror vg，選擇dbvg中的原卷hdisk3和hdisk4。（此處F7能多選）
2.12、unmirrorvg后，驗證dbvg。
此時:
LPs:PPs=1:1
hdisk3和hdisk4中的FREE PPs=TOTAL PPs
2.13、dbvg中刪除原卷hdisk3和hdisk4。
2.14、驗證vg
2.15、AIX系統中刪除舊邏輯卷，舊V7000中取消磁盤映射關系。
六、總結
ERP核心數據從舊存儲遷移到新存儲后，二者性能對比明顯：