Ceph 日常運維管理
一、集群監控管理
1、集群整體運行狀態
[root@cephnode01 ~]# ceph -s
cluster:
id: 8230a918-a0de-4784-9ab8-cd2a2b8671d0
health: HEALTH_WARN
application not enabled on 1 pool(s)
services:
mon: 3 daemons, quorum cephnode01,cephnode02,cephnode03 (age 27h)
mgr: cephnode01(active, since 53m), standbys: cephnode03, cephnode02
osd: 4 osds: 4 up (since 27h), 4 in (since 19h)
rgw: 1 daemon active (cephnode01)
data:
pools: 6 pools, 96 pgs
objects: 235 objects, 3.6 KiB
usage: 4.0 GiB used, 56 GiB / 60 GiB avail
pgs: 96 active+clean
# id：集群ID
# health：集群運行狀態，這里有一個警告，說明是有問題，意思是pg數大於pgp數，通常此數值相等。
# mon：Monitors運行狀態。
# osd：OSDs運行狀態。
# mgr：Managers運行狀態。
# mds：Metadatas運行狀態。
# pools：存儲池與PGs的數量。
# objects：存儲對象的數量。
# usage：存儲的理論用量。
# pgs：PGs的運行狀態
2、常用查詢狀態指令
集群狀態： HEALTH_OK，HEALTH_WARN，HEALTH_ERR
# 僅僅顯示集群是否正常
[root@ceph2 ~]#ceph health detail
HEALTH_OK
# 顯示集群狀態/
[root@ceph2 ~]# ceph -s
cluster:
id: 35a91e48-8244-4e96-a7ee-980ab989d20d
health: HEALTH_OK
services:
mon: 3 daemons, quorum ceph2,ceph3,ceph4
mgr: ceph4(active), standbys: ceph2, ceph3
mds: cephfs-1/1/1 up {0=ceph2=up:active}, 1 up:standby
osd: 9 osds: 9 up, 9 in; 32 remapped pgs
rbd-mirror: 1 daemon active
data:
pools: 14 pools, 536 pgs
objects: 220 objects, 240 MB
usage: 1764 MB used, 133 GB / 134 GB avail
pgs: 508 active+clean
28 active+clean+remapped
# 動態觀察ceph集群
[root@ceph2 ~]# ceph -w
3、集群標志
noup：OSD啟動時，會將自己在MON上標識為UP狀態，設置該標志位，則OSD不會被自動標識為up狀態
nodown：OSD停止時，MON會將OSD標識為down狀態，設置該標志位，則MON不會將停止的OSD標識為down狀態，設置noup和nodown可以防止網絡抖動
noout：設置該標志位，則mon不會從crush映射中刪除任何OSD。對OSD作維護時，可設置該標志位，以防止CRUSH在OSD停止時自動重平衡數據。OSD重新啟動時，需要清除該flag
noin：設置該標志位，可以防止數據被自動分配到OSD上
norecover：設置該flag，禁止任何集群恢復操作。在執行維護和停機時，可設置該flag
nobackfill：禁止數據回填
noscrub：禁止清理操作。清理PG會在短期內影響OSD的操作。在低帶寬集群中，清理期間如果OSD的速度過慢，則會被標記為down。可以該標記來防止這種情況發生
nodeep-scrub：禁止深度清理
norebalance：禁止重平衡數據。在執行集群維護或者停機時，可以使用該flag
pause：設置該標志位，則集群停止讀寫，但不影響osd自檢
full：標記集群已滿，將拒絕任何數據寫入，但可讀
4、集群標志操作
a) 設置noout狀態
[root@ceph2 ~]# ceph osd set noout
noout is set
b) 取消noout狀態
[root@ceph2 ~]# ceph osd unset noout
noout is unset
c) 將指定文件作為對象寫入到資源池中 put
[root@ceph2 ~]# rados -p ssdpool put testfull /etc/ceph/ceph.conf
2019-03-27 21:59:14.250208 7f6500913e40 0 client.65175.objecter FULL, paused modify 0x55d690a412b0 tid 0
[root@ceph2 ~]# rados -p ssdpool ls
testfull
test
5、PG操作
a) pg狀態
Creating：PG正在被創建。通常當存儲池被創建或者PG的數目被修改時，會出現這種狀態
Active：PG處於活躍狀態。可被正常讀寫
Clean：PG中的所有對象都被復制了規定的副本數
Down：PG離線
Replay：當某個OSD異常后，PG正在等待客戶端重新發起操作
Splitting：PG正在初分割，通常在一個存儲池的PG數增加后出現，現有的PG會被分割，部分對象被移動到新的PG
Scrubbing：PG正在做不一致校驗
Degraded：PG中部分對象的副本數未達到規定數目
Inconsistent：PG的副本出現了不一致。如果出現副本不一致，可使用ceph pg repair來修復不一致情況
Peering：Perring是由主OSD發起的使用存放PG副本的所有OSD就PG的所有對象和元數據的狀態達成一致的過程。Peering完成后，主OSD才會接受客戶端寫請求
Repair：PG正在被檢查，並嘗試修改被發現的不一致情況
Recovering：PG正在遷移或同步對象及副本。通常是一個OSD down掉之后的重平衡過程
Backfill：一個新OSD加入集群后，CRUSH會把集群現有的一部分PG分配給它，被稱之為數據回填
Backfill-wait：PG正在等待開始數據回填操作
Incomplete：PG日志中缺失了一關鍵時間段的數據。當包含PG所需信息的某OSD不可用時，會出現這種情況
Stale：PG處理未知狀態。monitors在PG map改變后還沒收到過PG的更新。集群剛啟動時，在Peering結束前會出現該狀態
Remapped：當PG的acting set變化后，數據將會從舊acting set遷移到新acting set。新主OSD需要一段時間后才能提供服務。因此這會讓老的OSD繼續提供服務，直到PG遷移完成。在這段時間，PG狀態就會出現Remapped
b) stuck（卡住）狀態的PG
# 如果PG長時間（mon_pg_stuck_threshold，默認為300s）出現如下狀態時，MON會將該PG標記為stuck：
inactive：pg有peering問題
unclean：pg在故障恢復時遇到問題
stale：pg沒有任何OSD報告，可能其所有的OSD都是down和out
undersized：pg沒有充足的osd來存儲它應具有的副本數
默認情況下，Ceph會自動執行恢復，但如果未成自動恢復，則集群狀態會一直處於HEALTH_WARN或者HEALTH_ERR
如果特定PG的所有osd都是down和out狀態，則PG會被標記為stale。要解決這一情況，其中一個OSD必須要重生，且具有可用的PG副本，否則PG不可用
Ceph可以聲明osd或PG已丟失，這也就意味着數據丟失。
需要說明的是，osd的運行離不開journal，如果journal丟失，則osd停止
c) 管理stuck狀態的PG
# 檢查處於stuck狀態的pg
[root@ceph2 ceph]# ceph pg dump_stuck
ok
PG_STAT STATE UP UP_PRIMARY ACTING ACTING_PRIMARY
17.5 stale+peering [0,2] 0 [0,2] 0
17.4 stale+peering [2,0] 2 [2,0] 2
17.3 stale+peering [2,0] 2 [2,0] 2
17.2 stale+peering [2,0] 2 [2,0] 2
17.1 stale+peering [0,2] 0 [0,2] 0
17.0 stale+peering [2,0] 2 [2,0] 2
17.1f stale+peering [2,0] 2 [2,0] 2
17.1e stale+peering [0,2] 0 [0,2] 0
17.1d stale+peering [2,0] 2 [2,0] 2
17.1c stale+peering [0,2] 0 [0,2] 0
[root@ceph2 ceph]# ceph osd blocked-by
osd num_blocked
0 19
2 13
# 檢查導致pg一直阻塞在peering 狀態的osd
ceph osd blocked-by
# 檢查某個pg的狀態
ceph pg dump |grep pgid
# 聲明pg丟失
ceph pg pgid mark_unfound_lost revert|delete
# 聲明osd丟失（需要osd狀態為down 且out）
ceph osd lost osdid --yes-i-really-mean-it
6、pool管理
a) 查看pool狀態
ceph osd pool stats
ceph osd lspools
b）限制pool配置更改
# 禁止pool被刪除
ceph tell osd.* injectargs --osd_pool_default_flag_nodelete true
# 禁止修改pool的pg_num和pgp_num
ceph tell osd.* injectargs --osd_pool_default_flag_nopgchange true
# 禁止修改pool的size和min_size
ceph tell osd.* injectargs --osd_pool_default_flag_nosizechang true
7、查看osd狀態
ceph osd stat
ceph osd status
ceph osd dump
ceph osd tree
ceph osd df
8、Monitor 狀態和查看仲裁狀態
ceph mon stat
ceph mon dump
ceph quorum_status
9、集群空間用量
ceph df
ceph df detail
二、集群配置管理
1、查看運行配置
ceph daemon {daemon-type}.{id} config show
# ceph daemon osd.0 config show
2、tell子命令格式
# 使用 tell 的方式適合對整個集群進行設置，使用 * 號進行匹配，就可以對整個集群的角色進行設置。而出現節點異常無法設置時候，只會在命令行當中進行報錯，不太便於查找。
命令格式：
# ceph tell {daemon-type}.{daemon id or *} injectargs --{name}={value} [--{name}={value}]
命令舉例：
# ceph tell osd.0 injectargs --debug-osd 20 --debug-ms 1
# daemon-type：為要操作的對象類型如osd、mon、mds等。
# daemon id：該對象的名稱，osd通常為0、1等，mon為ceph -s顯示的名稱，這里可以輸入*表示全部
# injectargs：表示參數注入，后面必須跟一個參數，也可以跟多個
3、daemon 子命令
# 使用 daemon 進行設置的方式就是一個個的去設置，這樣可以比較好的反饋，此方法是需要在設置的角色所在的主機上進行設置。
命令格式：
# ceph daemon {daemon-type}.{id} config set {name}={value}
命令舉例：
# ceph daemon mon.ceph-monitor-1 config set mon_allow_pool_delete false
三、集群操作
1、操作守護進程
1、啟動所有守護進程
# systemctl start ceph.target
2、按類型啟動守護進程
# systemctl start ceph-mgr.target
# systemctl start ceph-osd@id
# systemctl start ceph-mon.target
# systemctl start ceph-mds.target
# systemctl start ceph-radosgw.target
2、添加和刪除OSD
a) 添加 osd
# 格式化磁盤
ceph-volume lvm zap /dev/sd<id>
# 進入到ceph-deploy執行目錄/my-cluster，添加OSD
ceph-deploy osd create --data /dev/sd<id> $hostname
b) 刪除osd
# 調整osd的crush weight為 0
ceph osd crush reweight osd.<ID> 0.0
# 將osd進程stop
systemctl stop ceph-osd@<ID>
# 將osd設置out
ceph osd out <ID>
# 立即執行刪除OSD中數據
ceph osd purge osd.<ID> --yes-i-really-mean-it
# 卸載磁盤
umount /var/lib/ceph/osd/ceph-？
3、擴容pg
ceph osd pool set {pool-name} pg_num 128
ceph osd pool set {pool-name} pgp_num 128
# 在更改pool的PG數量時，需同時更改PGP的數量。PGP是為了管理placement而存在的專門的PG，它和PG的數量應該保持一致。如果你增加pool的pg_num，就需要同時增加pgp_num，保持它們大小一致，這樣集群才能正常rebalancing。
4、pool操作
a) 列出存儲池
ceph OSD lspools
b) 創建存儲池
# 命令格式：
ceph osd pool create {pool-name} {pg-num} [{pgp-num}]
# 命令舉例：
ceph osd pool create rbd 32 32
c) 設置存儲池配置
命令格式：
# ceph osd pool set-quota {pool-name} [max_objects {obj-count}] [max_bytes {bytes}]
命令舉例：
# ceph osd pool set-quota rbd max_objects 10000
d) 刪除存儲池
ceph osd pool delete {pool-name} [{pool-name} --yes-i-really-really-mean-it]
e) 重命名存儲池
ceph osd pool rename {current-pool-name} {new-pool-name}
f) 查看存儲池統計信息
rados df
g) 給存儲池做快照
ceph osd pool mksnap {pool-name} {snap-name}
h) 刪除存儲池的快照
ceph osd pool rmsnap {pool-name} {snap-name}
i) 獲取存儲池選項值
ceph osd pool get {pool-name} {key}
j) 調整存儲池選項值
ceph osd pool set {pool-name} {key} {value}
# size：設置存儲池中的對象副本數，詳情參見設置對象副本數。僅適用於副本存儲池。
# min_size：設置 I/O 需要的最小副本數，詳情參見設置對象副本數。僅適用於副本存儲池。
# pg_num：計算數據分布時的有效 PG 數。只能大於當前 PG 數。
# pgp_num：計算數據分布時使用的有效 PGP 數量。小於等於存儲池的 PG 數。
# hashpspool：給指定存儲池設置/取消 HASHPSPOOL 標志。
# target_max_bytes：達到 max_bytes 閥值時會觸發 Ceph 沖洗或驅逐對象。
# target_max_objects：達到 max_objects 閥值時會觸發 Ceph 沖洗或驅逐對象。
# scrub_min_interval：在負載低時，洗刷存儲池的最小間隔秒數。如果是 0 ，就按照配置文件里的
# osd_scrub_min_interval 。
# scrub_max_interval：不管集群負載如何，都要洗刷存儲池的最大間隔秒數。如果是 0 ，就按照配置文件里的
# osd_scrub_max_interval 。
# deep_scrub_interval：“深度”洗刷存儲池的間隔秒數。如果是 0 ，就按照配置文件里的
# osd_deep_scrub_interval 。
k) 獲取對象副本數
ceph osd dump | grep 'replicated size'
5、用戶管理
Ceph 把數據以對象的形式存於各存儲池中。Ceph 用戶必須具有訪問存儲池的權限才能夠讀寫數據。另外，Ceph 用戶必須具有執行權限才能夠使用 Ceph 的管理命令。
a) 查看用戶信息
# 查看所有用戶信息
ceph auth list
# 獲取所有用戶的key與權限相關信息
ceph auth get client.admin
# 如果只需要某個用戶的key信息，可以使用pring-key子命令
ceph auth print-key client.admin
b) 添加用戶
ceph auth add client.john mon 'allow r' osd 'allow rw pool=liverpool'
ceph auth get-or-create client.paul mon 'allow r' osd 'allow rw pool=liverpool'
ceph auth get-or-create client.george mon 'allow r' osd 'allow rw pool=liverpool' -o george.keyring
ceph auth get-or-create-key client.ringo mon 'allow r' osd 'allow rw pool=liverpool' -o ringo.key
c) 修改用戶權限
# ceph auth caps client.john mon 'allow r' osd 'allow rw pool=liverpool'
# ceph auth caps client.paul mon 'allow rw' osd 'allow rwx pool=liverpool'
# ceph auth caps client.brian-manager mon 'allow *' osd 'allow *'
# ceph auth caps client.ringo mon ' ' osd ' '
e) 刪除用戶
# ceph auth del {TYPE}.{ID}
其中， {TYPE} 是 client，osd，mon 或 mds 的其中一種。{ID} 是用戶的名字或守護進程的 ID 。
6、 增加和刪除Monitor
一個集群可以只有一個 monitor，推薦生產環境至少部署 3 個。 Ceph 使用 Paxos 算法的一個變種對各種 map 、以及其它對集群來說至關重要的信息達成共識。建議（但不是強制）部署奇數個 monitor 。Ceph 需要 mon 中的大多數在運行並能夠互相通信，比如單個 mon，或 2 個中的 2 個，3 個中的 2 個，4 個中的 3 個等。初始部署時，建議部署 3 個 monitor。后續如果要增加，請一次增加 2 個。
a) 增加一個monnitor
# ceph-deploy mon create $hostname
注意：執行ceph-deploy之前要進入之前安裝時候配置的目錄。/my-cluster
b) 刪除monitor
# ceph-deploy mon destroy $hostname
注意： 確保你刪除某個 Mon 后，其余 Mon 仍能達成一致。如果不可能，刪除它之前可能需要先增加一個。
7、ceph故障排除
此時說明部分osd的存儲已經超過閾值，mon會監控ceph集群中OSD空間使用情況。如果要消除WARN,可以修改這兩個參數，提高閾值，但是通過實踐發現並不能解決問題，可以通過觀察osd的數據分布情況來分析原因。
nearfull osds or pools nearfull
a) 配置文件設置闕值
"mon_osd_full_ratio": "0.95",
"mon_osd_nearfull_ratio": "0.85"
b) 自動處理
ceph osd reweight-by-utilization
ceph osd reweight-by-pg 105 cephfs_data(pool_name)
c) 手動處理
ceph osd reweight osd.2 0.8
d) 全局處理
ceph mgr module ls
ceph mgr module enable balancer
ceph balancer on
ceph balancer mode crush-compat
ceph config-key set "mgr/balancer/max_misplaced": "0.01"
四、pg狀態和osd 狀態
1、PG狀態概述
一個PG在它的生命周期的不同時刻可能會處於以下幾種狀態中:
Creating(創建中)
在創建POOL時,需要指定PG的數量,此時PG的狀態便處於creating,意思是Ceph正在創建PG。
Peering(互聯中)
peering的作用主要是在PG及其副本所在的OSD之間建立互聯,並使得OSD之間就這些PG中的object及其元數據達成一致。
Active(活躍的)
處於該狀態意味着數據已經完好的保存到了主PG及副本PG中,並且Ceph已經完成了peering工作。
Clean(整潔的)
當某個PG處於clean狀態時,則說明對應的主OSD及副本OSD已經成功互聯,並且沒有偏離的PG。也意味着Ceph已經將該PG中的對象按照規定的副本數進行了復制操作。
Degraded(降級的)
當某個PG的副本數未達到規定個數時,該PG便處於degraded狀態,例如:
在客戶端向主OSD寫入object的過程,object的副本是由主OSD負責向副本OSD寫入的,直到副本OSD在創建object副本完成,並向主OSD發出完成信息前,該PG的狀態都會一直處於degraded狀態。又或者是某個OSD的狀態變成了down,那么該OSD上的所有PG都會被標記為degraded。
當Ceph因為某些原因無法找到某個PG內的一個或多個object時,該PG也會被標記為degraded狀態。此時客戶端不能讀寫找不到的對象,但是仍然能訪問位於該PG內的其他object。
Recovering(恢復中)
當某個OSD因為某些原因down了,該OSD內PG的object會落后於它所對應的PG副本。而在該OSD重新up之后,該OSD中的內容必須更新到當前狀態,處於此過程中的PG狀態便是recovering。
Backfilling(回填)
當有新的OSD加入集群時,CRUSH會把現有集群內的部分PG分配給它。這些被重新分配到新OSD的PG狀態便處於backfilling。
Remapped(重映射)
當負責維護某個PG的acting set變更時,PG需要從原來的acting set遷移至新的acting set。這個過程需要一段時間,所以在此期間,相關PG的狀態便會標記為remapped。
Stale(陳舊的)
默認情況下,OSD守護進程每半秒鍾便會向Monitor報告其PG等相關狀態,如果某個PG的主OSD所在acting set沒能向Monitor發送報告,或者其他的Monitor已經報告該OSD為down時,該PG便會被標記為stale。
2、OSD狀態
單個OSD有兩組狀態需要關注,其中一組使用in/out標記該OSD是否在集群內,另一組使用up/down標記該OSD是否處於運行中狀態。兩組狀態之間並不互斥,換句話說,當一個OSD處於“in”狀態時,它仍然可以處於up或down的狀態。
OSD狀態為in且up
這是一個OSD正常的狀態,說明該OSD處於集群內,並且運行正常。
OSD狀態為in且down
此時該OSD尚處於集群中,但是守護進程狀態已經不正常,默認在300秒后會被踢出集群,狀態進而變為out且down,之后處於該OSD上的PG會遷移至其它OSD。
OSD狀態為out且up
這種狀態一般會出現在新增OSD時,意味着該OSD守護進程正常,但是尚未加入集群。
OSD狀態為out且down
在該狀態下的OSD不在集群內,並且守護進程運行不正常,CRUSH不會再分配PG到該OSD上。
轉載自