PVE Ceph 存儲服務器配置要求及集群注意事項


服務器配置要求

  • CPU

每個 Ceph 服務分配一個 CPU 內核。

  • 內存

對於大約 1 TiB 的數據,通常 OSD 將使用1 GiB 的內存。

Bluestore 后端守護進程默認需要 3-5 GiB 內存 (可調整)。

  • 網絡

建議使用至少 10 GbE 或更高的網絡帶寬 專供 Ceph 使用。

一個 HDD 可能不會使 1 Gb 鏈路飽和,但是每個節點可以有多個 HDD OSD,可以使鏈路帶寬飽和。

NVMe SSD 將甚至可以快速使 10 Gbps 的帶寬飽和, 25、40 甚至 100 Gbps 都是可能的。

  • 磁盤

一般來說,SSD 將提供比旋轉磁盤更多的 IOPS。 考慮到這一點, 除了更高的成本外,實施一個 基於 CLASS 的池分離。

另一種方式 加速 OSD 是使用更快的磁盤作為 journal 或 DB/WAL。

需要平衡 OSD 數量和單個 OSD 容量。例如:3 Nodes, 12 OSDs +

避免使用 RAID 控制器。 請改用主機總線適配器 (HBA)。

PG 自動縮放

  • 警告(warn) 模式:如果建議的pg_num值與當前值相差太大,則會發出健康警告。 這是新池和現有池的默認設置。
  • 啟用(on) 模式:無需任何管理員交互即可自動調整池pg_num。
  • 禁用(off) 模式:還可以為任何給定池關閉autoscaler,讓管理員像以前一樣手動管理pg_num。

關於存儲池 min_size

min_size 至少設置為 2,不要將 min_size 設置為 1 。 min_size 為 1 的復制池當對象只有 1 個副本時允許在對象上進行 I/O,這可能會導致數據丟失、不完整的 PG 或未找到的對象。

銷毀 OSD 操作命令

ceph osd out osd.<id>
ceph osd safe-to-destroy osd.<id>
systemctl stop ceph-osd@<id>.service
pveceph osd destroy <id>


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM