服務器配置要求
- CPU
每個 Ceph 服務分配一個 CPU 內核。
- 內存
對於大約 1 TiB 的數據,通常 OSD 將使用1 GiB 的內存。
Bluestore 后端守護進程默認需要 3-5 GiB 內存 (可調整)。
- 網絡
建議使用至少 10 GbE 或更高的網絡帶寬 專供 Ceph 使用。
一個 HDD 可能不會使 1 Gb 鏈路飽和,但是每個節點可以有多個 HDD OSD,可以使鏈路帶寬飽和。
NVMe SSD 將甚至可以快速使 10 Gbps 的帶寬飽和, 25、40 甚至 100 Gbps 都是可能的。
- 磁盤
一般來說,SSD 將提供比旋轉磁盤更多的 IOPS。 考慮到這一點, 除了更高的成本外,實施一個 基於 CLASS 的池分離。
另一種方式 加速 OSD 是使用更快的磁盤作為 journal 或 DB/WAL。
需要平衡 OSD 數量和單個 OSD 容量。例如:3 Nodes, 12 OSDs +
避免使用 RAID 控制器。 請改用主機總線適配器 (HBA)。
PG 自動縮放
- 警告(warn) 模式:如果建議的pg_num值與當前值相差太大,則會發出健康警告。 這是新池和現有池的默認設置。
- 啟用(on) 模式:無需任何管理員交互即可自動調整池pg_num。
- 禁用(off) 模式:還可以為任何給定池關閉autoscaler,讓管理員像以前一樣手動管理pg_num。
關於存儲池 min_size
min_size 至少設置為 2,不要將 min_size 設置為 1 。 min_size 為 1 的復制池當對象只有 1 個副本時允許在對象上進行 I/O,這可能會導致數據丟失、不完整的 PG 或未找到的對象。
銷毀 OSD 操作命令
ceph osd out osd.<id>
ceph osd safe-to-destroy osd.<id>
systemctl stop ceph-osd@<id>.service
pveceph osd destroy <id>