利用ceph-deploy部署ceph存儲集群

 

一、環境准備

創建兩台主機，ip地址和主機名如下

　　192.168.2.100，主機名ceph-1

　　192.168.2.101，主機名ceph-2

每個主機 新增加一塊數據盤，分區根據自己需要分區即可，這里分了4個分區。

ceph部署至少兩個兩個節點，數據盤或者分區至少三個。

ceph-1節點作為部署節點執行部署操作。

 

二、ceph-deploy admin node節點 

1、添加yum源

vim /etc/yum.repos.d/ceph.repo

[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.aliyun.com/ceph/rpm-infernalis/el7/$basearch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
​
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-infernalis/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
​
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-infernalis/el7/SRPMS
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

2、主機名解析

vim /etc/hosts

192.168.2.100 ceph-1
192.168.2.101 ceph-2

3、NTP時間同步

vim /etc/chrony.conf

allow 192.168.2.0/16
local stratum 10
​
systemctl restart chronyd
systemctl enable chronyd
​
chronyc sources -v

4、免密登陸

ssh-keygen
ssh-copy-id ceph-1
ssh-copy-id ceph-2

5、磁盤分區格式化

fdisk /dev/sdb
mkfs.xfs /dev/sdb1

5、安裝ceph-deploy

yum install ceph-deploy -y

6、新建集群，生成配置文件

mkdir ceph-cluster && cd ceph-cluster
ceph-deploy new ceph-1 ceph-2

7、修改ceph-cluster/ceph.conf

#添加網絡地址
public_network= 192.168.2.0/24 
​
#副本pg數為2，默認為3，最小工作size為默認size - (默認size/2) 
osd pool default size = 2
​
#官方建議平均每個osd 的pg數量不小於30，即pg num > (osd_num) * 30 / 2(副本數)
osd pool default pg num = 1024
osd pool default pgp num = 1024

8、安裝ceph軟件包

ceph-deploy install ceph-1 ceph-2
​
#或者每個節點安裝
yum -y install ceph ceph-radosgw

9、傳送ceph.conf

ceph-deploy --overwrite-conf config push ceph-1 ceph-2

10、查看各節點磁盤

ceph-deploy disk list ceph-1 ceph-2

11、初始化mon節點

ceph-deploy mon create-initial
​
如果報錯：RuntimeError: config file /etc/ceph/ceph.conf exists with different content; use --overwrite-conf to overwrite，執行如下命令后再執行上述命令
ceph-deploy --overwrite-conf mon create ceph{3,1,2}
ceph -s # 查看mon是否添加成功

12、配置admin key 到每個節點

ceph-deploy admin ceph-1 ceph-2

13、添加osd

ceph-deploy --overwrite-conf osd prepare ceph-1:sdb1 ceph-1:sdb2 ceph-1:sdb3 ceph-1:sdb4 ceph-2:sdc1 ceph-2:sdc2 ceph-2:sdc3 ceph-2:sdc4
   
ceph-deploy --overwrite-conf osd activate ceph-1:sdb1 ceph-1:sdb2 ceph-1:sdb3 ceph-1:sdb4 ceph-2:sdc1 ceph-2:sdc2 ceph-2:sdc3 ceph-2:sdc4

 

 清理環境

ceph-deploy purge ceph-1 ceph-2
ceph-deploy purgedata ceph-1 ceph-2
ceph-deploy forgetkeys
rm -f ceph.*