前言：
環境介紹：此次部署系統為Cenots 7| MON、OSD |
10.110.180.112 |
Admin |
| MON、OSD |
10.110.180.113 |
Node1 |
| MON、OSD |
10.110.180.114 |
Node2 |
此部署過程是采用文件目錄方式掛在激活OSD的方式部署Ceph集群。
1.系統關閉防火牆 關閉selinux
2.配置ntp 時間同步
配置普通用戶 sudo 免密
3.配置ssh 免密
4.配置ceph源
[ceph@ceph-admin my-cluster]$ cat -n /etc/yum.repos.d/ceph.repo
1 [Ceph-SRPMS]
2 name=Ceph SRPMS packages
3 baseurl=https://mirrors.aliyun.com/ceph/rpm-jewel/el7/SRPMS/
4 enabled=1
5 gpgcheck=0
6 type=rpm-md
7
8 [Ceph-aarch64]
9 name=Ceph aarch64 packages
10 baseurl=https://mirrors.aliyun.com/ceph/rpm-jewel/el7/aarch64/
11 enabled=1
12 gpgcheck=0
13 type=rpm-md
14
15 [Ceph-noarch]
16 name=Ceph noarch packages
17 baseurl=https://mirrors.aliyun.com/ceph/rpm-jewel/el7/noarch/
18 enabled=1
19 gpgcheck=0
20 type=rpm-md
21
22 [Ceph-x86_64]
23 name=Ceph x86_64 packages
24 baseurl=https://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/
25 enabled=1
26 gpgcheck=0
27 type=rpm-md
[ceph@ceph-admin my-cluster]$
5.更新源
yum makcache
yum update
5.1安裝ceph 每個節點都安裝 自動安裝需要去ceph官方網站下載rpm包 狠慢很慢
Yum install -y ceph 目前國內阿里雲和163等 鏡像源 都是10.2的ceph
安裝完成之后 查看 版本
ceph -v
5.2安裝ceph-deploy 部署工具
yum install ceph-deploy
5.3在開始創建集群之前 在ceph 用戶下創建文件夾 用戶部署文件輸出存放
mkdir my-cluster
cd my-cluster
6.部署新的節點
Ceph-deploy new ceph-admin ceph-node1 ceph-node2
部署完成后 會在文件夾中 產生3個文件
6.1修改ceph.config
6.2修改完成后 部署 mon
ceph-deploy --overwrite-conf mon create-initial
部署完成后會出現如下截圖
在文件目錄下會產生keyring文件
6.3查看ceph 集群狀態
以上截圖中已經部署了osd ,部署osd有些問題。osd可以是磁盤格式 也可以使文件目錄形式，修改物理磁盤作為osd方式。改為目錄文件部署osd。
6.4創建兩個文件目錄
mkdir /home/osd01
給777 權限
然后准備osd
激活完成 ，當部署osd出現running狀態時說明osd的狀態已經部署完成處於運行狀態。以同樣的方式部署另外的服務即可。查看下狀態目前還有ERR警告。
Ceph 部署 OSD掛在裸磁盤
此次部署方式為掛在服務器硬盤直接部署OSD。基礎環境准備和前面的一樣在此不贅述。
2018年12月12日
14:28
1. 創建新的集群 第一步
[ceph@ceph-admin my-cluster]$ ceph-deploy new ceph-admin ceph-node1 ceph-node2
執行完成后會生成配置文件
2.創建一個mon 第二步
[ceph@ceph-admin my-cluster]$ ceph-deploy mon create-initial
默認在上面的ceph.conf文件中包含了集群內的所有節點。執行此命令會創建所有節點的mon
3.部署過程部分截圖：
3.1Ceph-admin running
3.2Ceph-node1 running
3.3Ceph-node2 running
3.4執行完成后會在目錄下產生相關的key文件
3.5查看集群狀態
目前是err狀態沒問題 因為沒有 osd
4.物理硬盤掛在OSD
4.1ceph-deploy disk list ceph-admin 檢查可用磁盤
4.2 准備磁盤
[ceph@ceph-admin my-cluster]$ ceph-deploy osd prepare ceph-admin:sdb ceph-admin:sdc
注意：在此之前請查看下所有磁盤。此處我使用的是物理磁盤 直接部署osd。
部分截圖：執行成功后。
4.3執行完成后 查看ceph osd
4.4添加其他節點的osd
[ceph@ceph-admin my-cluster]$ ceph-deploy disk list ceph-node1
[ceph@ceph-admin my-cluster]$ ceph-deploy osd prepare ceph-node1:sdb ceph-node1:sdc
[ceph@ceph-admin my-cluster]$ ceph-deploy osd prepare ceph-node2:sdb ceph-node2:sdc
4.5再次查看集群狀態已經是OK了
5.寫在最后
Ceph分布式存儲部署過程已經完成了。簡單總結下Ceph分布式存儲部署的幾個關鍵點1.最關鍵的是NTP時間問題，如果集群內部的node節點時間不一致會造成ceph集群的不健康狀態。2.創建集群萬里長征第一步，萬事開頭難第一步成功了后面部署MON部署MDS服務什么的就很簡單了。3.部署OSD應該是萬里長征的最后一步了，OSD部署完成也表示這ceph集群可以測試使用了，這一步也非常不易。OSD部署方式分為2種，u文件目錄的方式部署，此方式好處是容易找到ceph存儲對象的位置，如果文件目錄部署失敗需要清理文件目錄否則會一直報錯。v裸磁盤直接部署OSD此方式是ceph集群系統直接管理node節點磁盤。好處相對文件目錄速度快一些，如果部署失敗需要格式化磁盤 刪除osd中的認證key重新部署。