ceph日常運維管理

常見問題

nearfull osd(s) or pool(s) nearfull

此時說明部分osd的存儲已經超過閾值，mon會監控ceph集群中OSD空間使用情況。如果要消除WARN,可以修改這兩個參數，提高閾值，但是通過實踐發現並不能解決問題，可以通過觀察osd的數據分布情況來分析原因。

配置文件設置閾值

  "mon_osd_full_ratio": "0.95",
  "mon_osd_nearfull_ratio": "0.85"

自動處理

ceph osd reweight-by-utilization
ceph osd reweight-by-pg 105 cephfs_data(pool_name)

手動處理

ceph osd reweight osd.2 0.8

全局處理

ceph mgr module ls
ceph mgr module enable balancer
ceph balancer on
ceph balancer mode crush-compat
ceph config-key set "mgr/balancer/max_misplaced": "0.01"

PG 故障狀態

PG狀態概述 一個PG在它的生命周期的不同時刻可能會處於以下幾種狀態中:

Creating(創建中) 在創建POOL時,需要指定PG的數量,此時PG的狀態便處於creating,意思是Ceph正在創建PG。

Peering(互聯中) peering的作用主要是在PG及其副本所在的OSD之間建立互聯,並使得OSD之間就這些PG中的object及其元數據達成一致。

Active(活躍的) 處於該狀態意味着數據已經完好的保存到了主PG及副本PG中,並且Ceph已經完成了peering工作。

Clean(整潔的) 當某個PG處於clean狀態時,則說明對應的主OSD及副本OSD已經成功互聯,並且沒有偏離的PG。也意味着Ceph已經將該PG中的對象按照規定的副本數進行了復制操作。

Degraded(降級的) 當某個PG的副本數未達到規定個數時,該PG便處於degraded狀態,例如:

在客戶端向主OSD寫入object的過程,object的副本是由主OSD負責向副本OSD寫入的,直到副本OSD在創建object副本完成,並向主OSD發出完成信息前,該PG的狀態都會一直處於degraded狀態。又或者是某個OSD的狀態變成了down,那么該OSD上的所有PG都會被標記為degraded。 當Ceph因為某些原因無法找到某個PG內的一個或多個object時,該PG也會被標記為degraded狀態。此時客戶端不能讀寫找不到的對象,但是仍然能訪問位於該PG內的其他object。

Recovering(恢復中) 當某個OSD因為某些原因down了,該OSD內PG的object會落后於它所對應的PG副本。而在該OSD重新up之后,該OSD中的內容必須更新到當前狀態,處於此過程中的PG狀態便是recovering。

Backfilling(回填) 當有新的OSD加入集群時,CRUSH會把現有集群內的部分PG分配給它。這些被重新分配到新OSD的PG狀態便處於backfilling。

Remapped(重映射) 當負責維護某個PG的acting set變更時,PG需要從原來的acting set遷移至新的acting set。這個過程需要一段時間,所以在此期間,相關PG的狀態便會標記為remapped。

Stale(陳舊的) 默認情況下,OSD守護進程每半秒鍾便會向Monitor報告其PG等相關狀態,如果某個PG的主OSD所在acting set沒能向Monitor發送報告,或者其他的Monitor已經報告該OSD為down時,該PG便會被標記為stale。

OSD狀態

單個OSD有兩組狀態需要關注,其中一組使用in/out標記該OSD是否在集群內,另一組使用up/down標記該OSD是否處於運行中狀態。兩組狀態之間並不互斥,換句話說,當一個OSD處於“in”狀態時,它仍然可以處於up或down的狀態。

OSD狀態為in且up 這是一個OSD正常的狀態,說明該OSD處於集群內,並且運行正常。

OSD狀態為in且down 此時該OSD尚處於集群中,但是守護進程狀態已經不正常,默認在300秒后會被踢出集群,狀態進而變為out且down,之后處於該OSD上的PG會遷移至其它OSD。

OSD狀態為out且up 這種狀態一般會出現在新增OSD時,意味着該OSD守護進程正常,但是尚未加入集群。

OSD狀態為out且down 在該狀態下的OSD不在集群內,並且守護進程運行不正常,CRUSH不會再分配PG到該OSD上。

集群監控管理

集群整體運行狀態

# ceph -s 
cluster:
    id:     8230a918-a0de-4784-9ab8-cd2a2b8671d0
    health: HEALTH_WARN
            application not enabled on 1 pool(s)
 
  services:
    mon: 3 daemons, quorum cephnode01,cephnode02,cephnode03 (age 27h)
    mgr: cephnode01(active, since 53m), standbys: cephnode03, cephnode02
    osd: 4 osds: 4 up (since 27h), 4 in (since 19h)
    rgw: 1 daemon active (cephnode01)
 
  data:
    pools:   6 pools, 96 pgs
    objects: 235 objects, 3.6 KiB
    usage:   4.0 GiB used, 56 GiB / 60 GiB avail
    pgs:     96 active+clean

id：集群ID
health：集群運行狀態，這里有一個警告，說明是有問題，意思是pg數大於pgp數，通常此數值相等。
mon：Monitors運行狀態。
osd：OSDs運行狀態。
mgr：Managers運行狀態。
mds：Metadatas運行狀態。
pools：存儲池與PGs的數量。
objects：存儲對象的數量。
usage：存儲的理論用量。
pgs：PGs的運行狀態

~]$ ceph -w
~]$ ceph health detail

pg狀態
~]$ ceph pg dump
~]$ ceph pg stat

pool狀態
~]$ ceph osd pool stats
~]$ ceph osd pool stats 

osd狀態
~]$ ceph osd stat
~]$ ceph osd dump
~]$ ceph osd tree
~]$ ceph osd df

Monitor狀態和查看仲裁狀態
~]$ ceph mon stat
~]$ ceph mon dump
~]$ ceph quorum_status

集群空間用量
~]$ ceph df
~]$ ceph df detail

集群配置管理(臨時和全局，服務平滑重啟)

有時候需要更改服務的配置，但不想重啟服務，或者是臨時修改。這時候就可以使用tell和daemon子命令來完成此需求。

查看運行配置
命令格式：
# ceph daemon {daemon-type}.{id} config show 

命令舉例：
# ceph daemon osd.0 config show 

tell子命令格式

使用 tell 的方式適合對整個集群進行設置，使用 * 號進行匹配，就可以對整個集群的角色進行設置。而出現節點異常無法設置時候，只會在命令行當中進行報錯，不太便於查找。

命令格式：
# ceph tell {daemon-type}.{daemon id or *} injectargs --{name}={value} [--{name}={value}]
命令舉例：
# ceph tell osd.0 injectargs --debug-osd 20 --debug-ms 1

• daemon-type：為要操作的對象類型如osd、mon、mds等。

• daemon id：該對象的名稱，osd通常為0、1等，mon為ceph -s顯示的名稱，這里可以輸入*表示全部。

• injectargs：表示參數注入，后面必須跟一個參數，也可以跟多個

daemon子命令

使用 daemon 進行設置的方式就是一個個的去設置，這樣可以比較好的反饋，此方法是需要在設置的角色所在的主機上進行設置。

命令格式：
# ceph daemon {daemon-type}.{id} config set {name}={value}
命令舉例：
# ceph daemon mon.ceph-monitor-1 config set mon_allow_pool_delete false

集群操作

1、啟動所有守護進程
# systemctl start ceph.target
2、按類型啟動守護進程
# systemctl start ceph-mgr.target
# systemctl start ceph-osd@id
# systemctl start ceph-mon.target
# systemctl start ceph-mds.target
# systemctl start ceph-radosgw.target

添加和刪除osd

添加
1、格式化磁盤
ceph-volume lvm zap /dev/sd<id>
2、進入到ceph-deploy執行目錄/my-cluster，添加OSD
# ceph-deploy osd create --data /dev/sd<id> $hostname

刪除
1、調整osd的crush weight為 0
ceph osd crush reweight osd.<ID> 0.0
2、將osd進程stop
systemctl stop ceph-osd@<ID>
3、將osd設置out
ceph osd out <ID>
4、立即執行刪除OSD中數據
ceph osd purge osd.<ID> --yes-i-really-mean-it
5、卸載磁盤
umount /var/lib/ceph/osd/ceph-？

擴容pg

ceph osd pool set {pool-name} pg_num 128
ceph osd pool set {pool-name} pgp_num 128 

注： 1、擴容大小取跟它接近的2的N次方 2、在更改pool的PG數量時，需同時更改PGP的數量。PGP是為了管理placement而存在的專門的PG，它和PG的數量應該保持一致。如果你增加pool的pg_num，就需要同時增加pgp_num，保持它們大小一致，這樣集群才能正常rebalancing。

Pool操作

列出存儲池
ceph osd lspools

創建存儲池
命令格式：
# ceph osd pool create {pool-name} {pg-num} [{pgp-num}]
命令舉例：
# ceph osd pool create rbd  32 32

設置存儲池配額
命令格式：
# ceph osd pool set-quota {pool-name} [max_objects {obj-count}] [max_bytes {bytes}]
命令舉例：
# ceph osd pool set-quota rbd max_objects 10000

刪除存儲池
ceph osd pool delete {pool-name} [{pool-name} --yes-i-really-really-mean-it]

重命名存儲池
ceph osd pool rename {current-pool-name} {new-pool-name}

查看存儲池統計信息
rados df

給存儲池做快照
ceph osd pool mksnap {pool-name} {snap-name}

刪除存儲池的快照
ceph osd pool rmsnap {pool-name} {snap-name}

獲取存儲池選項值
ceph osd pool get {pool-name} {key}

調整存儲池選項值
ceph osd pool set {pool-name} {key} {value}
size：設置存儲池中的對象副本數，詳情參見設置對象副本數。僅適用於副本存儲池。
min_size：設置 I/O 需要的最小副本數，詳情參見設置對象副本數。僅適用於副本存儲池。
pg_num：計算數據分布時的有效 PG 數。只能大於當前 PG 數。
pgp_num：計算數據分布時使用的有效 PGP 數量。小於等於存儲池的 PG 數。
hashpspool：給指定存儲池設置/取消 HASHPSPOOL 標志。
target_max_bytes：達到 max_bytes 閥值時會觸發 Ceph 沖洗或驅逐對象。
target_max_objects：達到 max_objects 閥值時會觸發 Ceph 沖洗或驅逐對象。
scrub_min_interval：在負載低時，洗刷存儲池的最小間隔秒數。如果是 0 ，就按照配置文件里的 osd_scrub_min_interval 。
scrub_max_interval：不管集群負載如何，都要洗刷存儲池的最大間隔秒數。如果是 0 ，就按照配置文件里的 osd_scrub_max_interval 。
deep_scrub_interval：“深度”洗刷存儲池的間隔秒數。如果是 0 ，就按照配置文件里的 osd_deep_scrub_interval 。

獲取對象副本數
ceph osd dump | grep 'replicated size'

用戶管理

Ceph 把數據以對象的形式存於各存儲池中。Ceph 用戶必須具有訪問存儲池的權限才能夠讀寫數據。另外，Ceph 用戶必須具有執行權限才能夠使用 Ceph 的管理命令。

查看用戶信息
查看所有用戶信息
# ceph auth list
獲取所有用戶的key與權限相關信息
# ceph auth get client.admin
如果只需要某個用戶的key信息，可以使用pring-key子命令
# ceph auth print-key client.admin 

添加用戶
# ceph auth add client.john mon 'allow r' osd 'allow rw pool=liverpool'
# ceph auth get-or-create client.paul mon 'allow r' osd 'allow rw pool=liverpool'
# ceph auth get-or-create client.george mon 'allow r' osd 'allow rw pool=liverpool' -o george.keyring
# ceph auth get-or-create-key client.ringo mon 'allow r' osd 'allow rw pool=liverpool' -o ringo.key

修改用戶權限
# ceph auth caps client.john mon 'allow r' osd 'allow rw pool=liverpool'
# ceph auth caps client.paul mon 'allow rw' osd 'allow rwx pool=liverpool'
# ceph auth caps client.brian-manager mon 'allow *' osd 'allow *'
# ceph auth caps client.ringo mon ' ' osd ' '

刪除用戶
# ceph auth del {TYPE}.{ID}
其中， {TYPE} 是 client，osd，mon 或 mds 的其中一種。{ID} 是用戶的名字或守護進程的 ID 。

增加和刪除Monitor

一個集群可以只有一個 monitor，推薦生產環境至少部署 3 個。 Ceph 使用 Paxos 算法的一個變種對各種 map 、以及其它對集群來說至關重要的信息達成共識。建議（但不是強制）部署奇數個 monitor 。Ceph 需要 mon 中的大多數在運行並能夠互相通信，比如單個 mon，或 2 個中的 2 個，3 個中的 2 個，4 個中的 3 個等。初始部署時，建議部署 3 個 monitor。后續如果要增加，請一次增加 2 個。

新增一個monitor
# ceph-deploy mon create $hostname
注意：執行ceph-deploy之前要進入之前安裝時候配置的目錄。/my-cluster

刪除monitor
# ceph-deploy mon destroy $hostname
注意： 確保你刪除某個 Mon 后，其余 Mon 仍能達成一致。如果不可能，刪除它之前可能需要先增加一個。