CEPH 14.2.9(nautilus)手動安裝遇到的問題及解決方法

CEPH 14.2.9(nautilus)手動安裝遇到的問題及解決方法

1. "Error ERANGE: pg_num 800 size 2 would mean 2112 total pgs, which exceeds max 750 (mon_max_pg_per_osd 250 * num_in_osds 3)"
   官網有人說是BUG(https://tracker.ceph.com/issues/22735),有兩種解決方式，一種覆蓋配置，另一種減小創建pool時的pg數。
   我選擇的是覆蓋配置。

$ vim /etc/ceph/ceph.conf
[global]
。。。省略
mon_max_pg_per_osd = 2000
。。。省略

2." 3 monitors have not enabled msgr2"
按步驟配置好ceph-mgr(https://ceph.readthedocs.io/en/latest/mgr/administrator/#mgr-administrator-guide)
也就是下面兩個命令，name是自己定的

# ceph auth get-or-create mgr.$name mon 'allow profile mgr' osd 'allow *' mds 'allow *'
# ceph-mgr -i $name

然后執行
ceph mon enable-msgr2

3.啟用ceph dashboard失敗
就不自己寫了,看別人的(https://blog.csdn.net/ygqygq2/article/details/103079175)

4.mkfs.xfs: cannot open /dev/sdb1: Device or resource busy
使用ceph-volume安裝時，出現了錯誤，想卸載重裝，在刪除磁盤時就出了這個問題。

#先執行
dmsetup ls
#然后把那個ceph開頭的id復制下來，寫到下面“XXXX”的部分執行
dmsetup remove ceph-XXXX

5.osd沒安裝好，要重新安裝怎么辦？

#假設你要重裝的是第五個osd
ceph osd crush remove osd.5
ceph auth del osd.5
ceph osd rm 5

umount /var/lib/ceph/osd/ceph-5
rm -rf /var/lib/ceph/osd/ceph-5

6.查看當前系統使用的是否是bluestore？
這個不知道，但是可以使用下面的命令試一下；

$ ceph-bluestore-tool show-label --path /var/lib/ceph/osd/ceph-0/
inferring bluefs devices from bluestore path
{
    "/var/lib/ceph/osd/ceph-0/block": {
        "osd_uuid": "733a9891-faa9-46d7-a8da-17c27883d8d2",
        "size": 107374182400,
        "btime": "2020-06-10 16:27:11.320628",
        "description": "main",
        "bluefs": "1",
        "ceph_fsid": "c4dce24c-7ee5-4127-a7ab-89883b03b10a",
        "kv_backend": "rocksdb",
        "magic": "ceph osd volume v026",
        "mkfs_done": "yes",
        "ready": "ready",
        "require_osd_release": "14",
        "whoami": "0"
    }
}

7.ceph osd無法取到最新未用id
我的解決方法：直接卸載所有osd，然后完全手動安裝，不使用ceph-volume

8. _read_bdev_label failed to open /var/lib/ceph/osd/ceph-1/block: (2) No such file or directory
   報這個錯沒有什么影響。

9.手動安裝情況下，如何完全卸載ceph，然后重裝

systemctl stop ceph.target
rm -rf /var/lib/ceph/*
rm -rf /etc/ceph/*
yum -y remove ceph*