proxmox筆記2（掛載FC-SAN存儲）

1、今天終於搞通了proxmox7掛載emc vnx5100的多路徑（集群每個節點都要）

需要安裝的包：apt install multipath-tools

創建目錄/etc/multipath/conf.d/

創建文件/etc/multipath/conf.d/multipath.conf     （貌似這步非必須）

blacklist {
    # Skip the files under /dev that are definitely not FC/iSCSI devices
    # Different system may need different customization
    devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
    devnode "^hd[a-z][0-9]*"
    devnode "^cciss!c[0-9]d[0-9]*[p[0-9]*]"
#    devnode "^sda*"

    # Skip LUNZ device from VNX
#    device {
#        vendor "DGC"
#        product "LUNZ"
#        }
}
#multipaths {
#    multipath {
#        wwid           600601609b703a004686af850502e611
#        alias           pve-vnx5100
#    }
#}

defaults {
    find_multipaths "on" 
    user_friendly_names no 
    flush_on_last_del yes
}

devices {
    # Device attributed for EMC CLARiiON and VNX series ALUA
    device {
        vendor "DGC"
        product ".*"
        product_blacklist "LUNZ"
        path_grouping_policy group_by_prio
        getuid_callout "/lib/udev/scsi_id --whitelisted --device=/dev/%n"
        #path_selector "round-robin 0"
        path_checker emc_clariion
#        features "1 queue_if_no_path"
        hardware_handler "1 emc"
        prio emc
        failback immediate
        rr_weight uniform
#        no_path_retry 60
    }
}

修改/etc/multipath/wwids文件，加入fcsan的wwid，一行一個wwid（貌似最重要的是這步）

/3600601609b703a004686af850502e611/

重啟multipathd服務：systemctl restart multipathd

查看多路徑是否成功：multipath -ll

 

2、把上面掛載好的mapper設備進行分區、格式化等（集群在任意一個節點上執行）

 參看這里：https://starslove.me/2020/07/14/proxmox/

查看新掛載的設備：ls /dev/mapper/

 

 然后分區掛載：

fdisk /dev/mapper/3600601609b703a004686af850502e611

g

n

t

30    ........這里，原文是31，但我的系統30才是Linux LVM

p

w

創建pv:

pvcreate /dev/mapper/3600601609b703a004686af850502e611-part1                .......這里要注意最后的-part1

創建vg:

vgcreage pve-san /dev/mapper/3600601609b703a004686af850502e611-part1

3、創建集群共享存儲

在每個節點上運行partprobe掃描並加載其它節點上創建的pve-san

如果沒有partprobe，則安裝之：apt install parted

登陸集群任一節點管理web: http://節點ip:8006

 

 

 

 

 大功告成，終於把后端的fc-san掛載給PVE集群去用了，明天開始裝個虛擬機和做切換、遷移測試

補充：

經過測試，無論是掛成LVM或LVM-thin，還是CIFS，最終都無法實現快照和遷移共存的功能（參照這里https://www.cnblogs.com/d9394/p/16692166.html），所以只能放棄PVE-FC的組合，改回用ESXI-FC了