https://www.kclouder.cn/dfs/ceph/
1條回復
PVE支持Ceph，包括內置Ceph及外連Ceph。通過PVE內建Ceph集群，可以構建出超融合架構，並實現集中
統一管理。通過外連Ceph集群，無法實現集中管理，但是Ceph集群可以提供給其它平台使用。各有各的好
處。本文采用PVE內建Ceph集群的方式來搭建一個PVE超融合架構。
部署環境
PVE-1 172.16.80.86 Hostname: PVE-1
PVE-2 172.16.80.87 Hostname: PVE-2
PVE-3 172.16.80.88 Hostname: PVE-3
NFS 172.16.80.75 Hostname: NFS
PVE配置：
每個PVE節點配置：8vCPU，64GB內存，sda:100GB，sdb:1TB，一個網卡，掛載PVE ISO。
注意：
在PVE 5.x版本中，如果要使用內置的Ceph，需要購買訂閱，也就是說內置Ceph功能現在已經是需要付費購
買的了。所以本次演示使用的是PVE 4.4版本。
創建PVE虛擬化集群
1，首先安裝三台PVE主機，安裝過程參考本站之前的文章。
2，PVE主機安裝就緒后，創建PVE Cluster虛擬化集群。住意在4.4版本中無法通過WEB控制台創建集群，
需要通過PVE_shell創建。
3，在PVE1節點執行以下命令：
pvecm create vclusters
4，在另外兩個節點執行以下命令，加入集群
pvecm add 172.16.80.86
5，查看PVE集群狀態，確認集群已經正確建立
pvecm status
6，配置PVE所有節點的NTP服務，在所有節點執行以下命令，這里我有一台NTP服務器地址為172.16.0.1，
實際安裝時根據自己環境的實際情況進行配置。
vi /etc/systemd/timesyncd.conf
修改NTP Server如下圖
systemctl restart systemd-timesyncd
安裝配置Ceph集群存儲
1，在所有節點上使用以下命令安裝Ceph。
pveceph install –version hammer
2，配置ceph集群存儲網絡，在主節點上執行以下命令
pveceph init –network 172.16.0.0/16
3，創建ceph集群存儲Mon監控，在所有節點上執行以下命令
pveceph createmon
4，創建ceph集群存儲OSD服務，這里我們采用每個節點上的/dev/sdb來創建OSD，在所有節點上執行以
下命令：
pveceph createosd /dev/sdb
5，創建完成后，查看OSD運行狀態，確認OSD運行正常：
ceph osd stat
ceph osd tree
6，創建集群存儲資源池，PVE內建Ceph采用的是rbd的模型：最外層是pool，相當於一塊磁盤，默認的
pool名字叫做rbd。每個pool里面可以有多個image，相當於文件夾。每個image可以映射成一個塊設備，
有了設備就可以加載它。在PVE-1節點上執行以下命令：
ceph osd pool create pvepool1 128 128
128代表placement-group的數量。每個pg都是一個虛擬節點，將自己的數據存在不同的位置。這樣一旦
存儲宕機，pg就會選擇新的存儲，從而保證了自動高可用。
7，復制存儲ID和密鑰到指定文件位置，在PVE-1節點執行以下操作：
cd /etc/pve/priv/
mkdir ceph
cp /etc/ceph/ceph.client.admin.keyring ceph/my-ceph-storage.keyring
8，查看Ceph集群狀態。
ceph -s
9，在PVE web控制台，查看Ceph集群的狀態，，包括配置、MON、OSD、Pool等狀態正確無報錯或告警。
添加RBD集群存儲
1，點擊數據中心-存儲-添加，選擇“RBD”
2，ID填寫ceph，這個不能隨便寫，只能寫ceph，Monitor項填寫三個節點的IP地址，用空格隔開，節點可
以默認也可以手動選擇，內容默認為磁盤映像，用來保存VM虛擬機磁盤文件。也可以添加選擇存儲LXC容器。
3，如下圖，添加完成后，這里有ceph存儲用來安裝虛擬機，另外我這里還添加了一個NFS共享，用來共享
文件，主要是用來存放安裝映像ISO和備份文件。
4，如下圖，Ceph存儲添加完成后，確認配置已經生效並且運行狀態正常。
5，查看rbd集群存儲配置信息
cat /etc/pve/storage.cfg
安裝虛擬機
1，創建一台虛擬機，選擇安裝NFS中的Windows2016進行測試
2，虛擬機磁盤選擇安裝到Ceph存儲。
3，確認VM配置正確后，開啟虛擬機正常安裝即可。
4，虛擬機安裝完成。
HCI集群測試
1，虛擬機在線熱遷移，右鍵點擊虛擬機，點擊遷移。
2，選擇目標節點，點擊遷移
3，遷移速度很快，這里測試遷移僅需5秒左右。遷移過程中，虛擬機的運行不會受到影響。
4，測試VM的高可用，點擊數據中心-HA，點擊添加，輸入VM ID。
5，VM 高可用狀態正常，可以看到因為VM現在在PVE-2節點上運行，所以其master為pve-2
6，將PVE-2關機，模擬節點發生宕機故障
7，PVE-2關機后，虛擬機自動漂移到PVE-1上運行，
8，再次查看虛擬機HA狀態，master已經變為PVE-1
9，PVE-2節點關機后，Ceph狀態為降級，但仍然可以使用。
10，將PVE-2節點開機，Ceph存儲會自動進行重建，並恢復正常。
11，PVE集群狀態也恢復正常
