虛擬機使用ceph-deploy安裝ceph

參考：

ceph官網介紹

使用ceph-deploy安裝Ceph 12.x

安裝虛擬機

首先安裝虛擬機環境，虛擬機安裝這里不做介紹，本實驗使用的鏡像為CentOS-7-x86_64-Everything-1804，采用最小安裝，如需安裝其余工具請自己搭建yum源，下面給出搭建本地yum源以及網絡配置的方法

搭建本地yum源

虛擬機網絡NAT模式配置靜態IP

 

下面實驗虛擬機上准備四個節點：

host　　   192.168.1.220/221　　用作主機

node1　　192.168.1.210/211　　ceph節點，同時當做admin node安裝ceph-deploy

node2　　192.168.1.212/213　　ceph節點

node3　　192.168.1.214/215　　ceph節點

 

網絡的配置情況如下：
要建3個網絡： public網絡，cluster網絡，admin網絡

admin網絡： 用來運行yum install從外網下載和安裝

host	192.168.1.221
node1	192.168.1.211
node2	192.168.1.213
node3	192.168.1.215

 

 

 

 

 

public網絡： 是client和Ceph cluster之間通信與數據傳輸的網絡

host	192.168.1.220/221
node1	192.168.1.210
node2	192.168.1.212
node3	192.168.1.214

 

 

 

 

 

cluster網絡： 是Ceph節點之間通信和傳輸數據的網絡

host	192.168.1.221
node1	192.168.1.211
node2	192.168.1.213
node3	192.168.1.215

 

 

 

 

安裝前准備工作

Step 1.admin node Enable epel (Extra Packages for Enterprise Linux) repository、ceph.repo配置文件

# 認證，但我顯示系統證書崩潰，請重新注冊，就先跳過了
yum install subscription-manager
subscription-manager repos --enable=rhel-7-server-extras-rpms

yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
安裝參考：
http://www.mamicode.com/info-detail-1287279.html

 

文件位於控制節點（即admin node）的 /etc/yum.repos.d/ceph.repo

[ceph-noarch]
name=Ceph noarch packages
# baseurl=https://download.ceph.com/rpm/el7/noarch
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
# gpgkey=https://download.ceph.com/keys/release.asc
gpgkey=http://mirrors.163.com/ceph/keys/release.asc

注意：
上面的注釋部分，是Ceph官網的寫法。但是對於我們國內的安裝，這樣幾乎無法成功，因為下載Ceph太慢了，會導致失敗。因此，需要改寫repo文件以更新Ceph源。
常用的Ceph鏡像是163鏡像。但在使用163鏡像之后，必須將rpm寫成rpm-luminous，這樣才會安裝ceph-deploy-2.0.0；若只寫成rpm，則實際安裝的是ceph-deploy-1.5.

 

Step 2.admin node安裝ceph-deploy

yum update
yum install -y ceph-deploy

 管理節點必須具有對Ceph節點的無密碼SSH訪問。 當ceph-deploy以用戶身份登錄到Ceph節點時，該特定用戶必須具有無密碼的sudo權限。

 

Step 3.每個ceph node 安裝ntp和openssh-server

因為將來擁有monitor的Ceph node需要使用ntp來同步時間，因此需要安裝ntp相關工具。而openssh-server也是必須的。

yum install -y ntp ntpdate ntp-doc
yum install -y openssh-server

 

Step 4.每個ceph node創建一個Ceph Deploy用戶

ceph-deploy實用程序必須以具有無密碼sudo權限的用戶身份登錄到Ceph節點，因為它需要安裝軟件和配置文件而不提示輸入密碼。

最新版本的ceph-deploy支持--username選項，因此您可以指定任何具有無密碼sudo的用戶（包括root用戶，但不建議這樣做）。要使用ceph-deploy --username {username}，您指定的用戶必須具有對Ceph節點的無密碼SSH訪問權限，因為ceph-deploy不會提示您輸入密碼。

我們建議在群集中的所有Ceph節點上為ceph-deploy創建特定用戶。請不要使用“ceph”作為用戶名。群集中的統一用戶名可以提高易用性（不是必需的），但是您應該避免使用明顯的用戶名，因為黑客通常會使用暴力破解（例如root，admin，{productname}）。以下過程用{username}替換您定義的用戶名，描述了如何使用無密碼sudo創建用戶。

注意：從Infernalis版本開始，“ceph”用戶名是為Ceph守護進程保留的。 如果Ceph節點上已存在“ceph”用戶，則必須在嘗試升級之前刪除該用戶。

useradd -d /home/luxiaodai -m luxiaodai
passwd luxiaodai（123456） # 給該用戶sudo的權限 echo "luxiaodai ALL = (root) NOPASSWD:ALL" | tee /etc/sudoers.d/luxiaodai chmod 0440 /etc/sudoers.d/luxiaodai

 

Step 5.admin node設置免密和填寫 ~/.ssh/config 文件

設置免密

# 生成秘鑰
ssh-keygen

# 拷貝到其余節點
ssh-copy-id {username}@node1
ssh-copy-id {username}@node2
ssh-copy-id {username}@node3

~/.ssh/config 這個文件是給ceph-deploy使用的。通過此文件，ceph-deploy可以知道用戶名和Ceph node的信息；這樣，就不用每次在執行ceph-deploy的時候都指定–username {username}了。用戶（luxiaodai）和節點名稱（node1等）后面會介紹怎么創建的

Host node1
    Hostname node1
    User luxiaodai
Host node2
    Hostname node2
    User luxiaodai
Host node3
    Hostname node3
    User luxiaodai

關閉防火牆：

linux修改主機名+免密認證+關閉防火牆 

 

Step 6.TTY

在CentOS和RHEL上，您可能在嘗試執行ceph-deploy命令時收到錯誤。 如果在您的Ceph節點上默認設置了requiretty，請通過執行sudo visudo並找到Defaults requiretty設置來禁用它。 將其更改為Defaults：ceph！requiretty或將其注釋掉以確保ceph-deploy可以使用您創建的用戶與創建Ceph部署用戶進行連接。

 

Step 7.確保您的包管理器已安裝並啟用了priority/preferences package。 在CentOS上，您可能需要安裝EPEL

yum install yum-plugin-priorities

 

CEPH STORAGE CLUSTER安裝

Step 1. 創建工作目錄

本步驟在admin node上完成。

mkdir my_cluster
cd my_cluster

ceph-deploy工具將輸出一些文件到這個my-cluster目錄。要確保每次運行ceph-deploy命令都是在這個目錄下。

注意： 不要使用sudo來運行ceph-deploy命令，也不要在使用非root用戶時以root用戶身份運行ceph-deploy命令。因為ceph-deploy不會把sudo命令也發送到遠端的ceph node上執行。

 

Step 2.環境清理

在任何時候當你陷入困境希望從頭開始部署時，就執行以下的命令以清空Ceph的package以及擦除它的數據和配置：

ceph-deploy purge {ceph-node} [{ceph-node}]
ceph-deploy purgedata {ceph-node} [{ceph-node}]
ceph-deploy forgetkeys
rm ceph.*

這里執行

ceph-deploy purge node1 node2 node3
ceph-deploy purgedata node1 node2 node3

的時候提示

ImportError: No module named pkg_resources

解決方法：

yum install python-setuptools

如果執行purge，則必須重新安裝Ceph。 最后一個rm命令刪除在先前安裝期間由本地ceph-deploy寫出的所有文件。

 

Step 3. 創建一個集群

先創建如下圖所示的ceph集群，1 monitor + 1 manager + 3 osd daemon 

 

1.創建

ceph-deploy new node1

這個命令結束后，會在my-cluster目錄下看到：ceph.conf, ceph.mon.keyring, log文件

 

2. 添加public network的配置到ceph.conf

添加下面這句話到 ceph.conf 文件的 [global] 段

public network = 192.168.1.210/24
or
public network = 192.168.1.210/255.255.255.0

如果要在IPv6環境中部署，請將以下內容添加到本地目錄中的ceph.conf：

echo ms bind ipv6 = true >> ceph.conf

 

3. 安裝Ceph的packages

ceph-deploy install node1 node2 node3

安裝過程中出現的問題

# 如果安裝一直有問題，清空/etc/yum.repo，然后將yum源換掉：http://mirrors.ustc.edu.cn/help/epel.html

問題：
[ceph_deploy][ERROR ] RuntimeError: NoSectionError: No section: 'ceph'
解決方法：
yum remove ceph-release
rm  /etc/yum.repos.d/ceph.repo.rpmsave

問題：
[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: yum -y install ceph ceph-radosgw
解決方法：
yum -y install ceph ceph-radosgw

ceph安裝缺少python-werkzeug包
安裝包下載地址：http://rpmfind.net/linux/rpm2html/search.php?query=python-werkzeug
rpm -ivh python-werkzeug-0.9.1-2.el7.noarch.rpm

問題：[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: ceph –version
解決：ceph1 安裝速度過慢，已經超時了，直接手動安裝 yum -y install ceph ceph-radosgw

 安裝成功！！！

 

4. 部署第一個monitor並產生keyring

ceph-deploy mon create-initial

注意:
若出現類似於”Unable to find /etc/ceph/ceph.client.admin.keyring”這樣的錯誤，則要確定在ceph.conf文件中的mon_host的IP應該是public IP，而不是其他IP.

當這一步結束時，my-cluster目錄會出現如下的keyring：

 

5. 使用ceph-deploy拷貝配置文件和admin key到ceph nodes.

這樣就可以使用ceph CLI來執行命令了，而不用每次都指定monitor的地址和ceph.client.admin.keyring.

ceph-deploy admin node1 node2 node3

 

6. 部署一個manager daemon. (Luminous開始要求的)

ceph-deploy mgr create node1

 

7. 添加osd

添加3個OSD。 出於說明的目的，我們假設您在每個節點中都有一個名為/ dev / vdb的未使用磁盤。 確保設備當前未使用且不包含任何重要數據。

ceph-deploy osd create -data {device} {ceph-node}

ceph-deploy osd create --data /dev/sdb node1
ceph-deploy osd create --data /dev/sdb node2
ceph-deploy osd create --data /dev/sdb node3

注意：如果要在LVM卷上創建OSD，則--data的參數必須是 volume_group/lv_name，而不是卷的塊設備的路徑。

 

 

8. 健康驗證

ssh node1 sudo ceph health

您的群集應報告HEALTH_OK。 您可以使用以下命令查看更完整的群集狀態：

ssh node1 sudo ceph -s

 查詢結果如下：

 

 

Step 4. 擴展集群

啟動並運行基本群集后，下一步是展開群集。 將Ceph元數據服務器添加到node1。 然后將Ceph Monitor和Ceph Manager添加到node2和node3，以提高可靠性和可用性。

對比第一階段的工作，第二階段要擴展的是：

• 添加1個metadata server
• 添加2個monitor
• 添加2個manager
• 添加1個RGW

 

1. 添加一個metadata server

如果要使用CephFS，就必須至少添加一個metadata server.

ceph-deploy mds create node1

 

2. 添加2個monitors，達到3個monitors

Ceph存儲集群需要至少運行一個Ceph Monitor和Ceph Manager。 為了實現高可用性，Ceph存儲集群通常運行多個Ceph監視器，因此單個Ceph監視器的故障不會導致Ceph存儲集群崩潰。 Ceph使用Paxos算法，該算法需要大多數監視器（即大於N / 2，其中N是監視器的數量）才能形成法定人數。 雖然這不是必需的，但監視器的數量往往更好。

ceph-deploy mon add node2
ceph-deploy mon add node3

在添加新的monitor之后，ceph會開始同步這些monitor，並形成一個quorum. 要檢查quorum的狀態，可運行：

ceph quorum_status --format json-pretty

[root@node1 my_cluster]# ceph quorum_status --format json-pretty
{
    "election_epoch": 12,
    "quorum": [
        0,
        1,
        2
    ],
    "quorum_names": [
        "node1",
        "node2",
        "node3"
    ],
    "quorum_leader_name": "node1",
    "monmap": {
        "epoch": 3,
        "fsid": "f314d1c1-b6b9-4060-95b7-c25ec192f612",
        "modified": "2018-11-13 16:04:02.221558",
        "created": "2018-11-13 15:35:34.338001",
        "features": {
            "persistent": [
                "kraken",
                "luminous",
                "mimic",
                "osdmap-prune"
            ],
            "optional": []
        },
        "mons": [
            {
                "rank": 0,
                "name": "node1",
                "addr": "192.168.1.210:6789/0",
                "public_addr": "192.168.1.210:6789/0"
            },
            {
                "rank": 1,
                "name": "node2",
                "addr": "192.168.1.212:6789/0",
                "public_addr": "192.168.1.212:6789/0"
            },
            {
                "rank": 2,
                "name": "node3",
                "addr": "192.168.1.214:6789/0",
                "public_addr": "192.168.1.214:6789/0"
            }
        ]
    }
}

當給Ceph安裝多個monitor之后，應該在每個monitor主機上都安裝並配置NTP，以保證時間的同步。ntp的配置這里從略，只簡單概述一下原理:將2台monitor所在機器配置成向第3台monitor機器做ntp的同步，而第3台monitor上通過crontab來定時調用ntpdate命令向Internet上的ntp時鍾源做同步。

 

3. 添加2個managers，達到3個managers

Ceph Manager daemon工作在active/standby的模式。添加多manager，可以保證如果一個manager或host宕掉，另一個manager可以無縫接管過來。

ceph-deploy mgr create node2 node3

可以通過ceph -s命令看到active和standby的manager.

 

 

4. 添加一個RGW實例

要部署Ceph Object Gateway組件，就必須部署一個RGW實例。

ceph-deploy rgw create node1

GW instance監聽在7480端口。若需改變端口號，可修改ceph.conf文件。

[client]
rgw frontends = civetweb port=80

若要使用IPv6地址，可以如下修改ceph.conf

[client]
rgw frontends = civetweb port=[::]:80

 

存儲/檢索object數據

要存儲object數據，ceph client必須：
1. 設置一個object name
2. 指定一個pool

注意：
關於ceph client，將在下篇博客介紹。

Ceph client獲取最新的cluster map; 而CRUSH算法計算怎樣將一個object對應到一個placement group，然后再怎樣將這個palcement group動態賦給一個OSD daemon.
要找到這個object的位置，可以執行如下命令：

ceph osd map {poolname} {object-name}

作為練習，讓我們創建一個對象。 在命令行上使用rados put命令指定對象名稱，包含某些對象數據的測試文件的路徑和池名稱。 例如：

rados put {object-name} {file-path} --pool=mytest

ceph osd pool create mypool 8   # 8是該pool的PG的數量
echo "Hello, World" > 1.txt
rados put my-obj-1 1.txt --pool=mypool

檢查Ceph集群確實存儲了這個object:

rados -p mypool ls

確定object的位置：

ceph osd map {pool-name} {object-name}

[root@node1 luxiaodai]# ceph osd map mypool my-obj-1
osdmap e26 pool 'mypool' (5) object 'my-obj-1' -> pg 5.ced445fe (5.6) -> up ([0,1,2], p0) acting ([0,1,2], p0)

若要刪除這個object，可以這樣：

rados rm my-obj-1 --pool=mypool

如果你要刪除池，使用下面命令，出於安全原因，您需要根據提示提供其他參數; 刪除池會破壞數據

ceph osd pool rm mypool

刪除需要修改配置文件，加入紅色部分，必須在mon節點上執行

[root@node1 my_cluster]# ceph osd pool delete mypool
Error EPERM: WARNING: this will *PERMANENTLY DESTROY* all data stored in pool mypool.  If you are *ABSOLUTELY CERTAIN* that is what you want, pass the pool name *twice*, followed by --yes-i-really-really-mean-it.
[root@node1 my_cluster]# ceph osd pool delete mypool mypool --yes-i-really-really-mean-it
Error EPERM: pool deletion is disabled; you must first set the mon_allow_pool_delete config option to true before you can destroy a pool
[root@node1 my_cluster]# vim /etc/ceph/ceph.conf 
[root@node1 my_cluster]# cat /etc/ceph/ceph.conf 
[global]
fsid = f314d1c1-b6b9-4060-95b7-c25ec192f612
mon_initial_members = node1
mon_host = 192.168.1.210
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
public network = 192.168.1.210/24

[mon]
mon allow pool delete = true
[root@node1 my_cluster]# systemctl restart ceph-mon.target
[root@node1 my_cluster]# ceph osd pool delete mypool mypool --yes-i-really-really-mean-it
pool 'mypool' removed

現在，集群部署好了，object也能成功創建了，但是卻並不利於用戶的使用。用戶使用存儲，一般不直接通過原始的object，而是主要有3種使用方式：

• 塊設備
• 文件系統
• 對象存儲（比上述原生的object多了一些封裝，常見的有通過S3 API或Swift API進行對象的存取）

 

BLOCK DEVICE QUICK START

1. 安裝Ceph

首先要確保是Linux kernel以及合適的版本。

在admin node上運行以下命令，將Ceph安裝到ceph-client node上：

ceph-deploy install host

然后，運行以下命令將Ceph配置文件和ceph.client.admin.keyring拷貝到ceph-client上。

ceph-deploy admin host

 

2. 創建一個塊設備的pool

在之前的文章中，已經創建了一個叫做mypool的pool，現在需要運行以下命令以使得該pool可以作為RBD使用：

rbd pool init mypool

 

3. 配置一個block device（塊設備）

1.創建一個block device image

rbd create foo --size 4096 --image-feature layering [-m {mon-IP}] [-k /path/to/ceph.client.admin.keyring] [-p {pool-name}]
rbd create test --pool mypool --size 4096 --image-feature layering -m 192.168.1.210 -k /etc/ceph/ceph.client.admin.keyring

如要查看所創建的rbd，可以這樣：

rbd info test -p mypool

結果如下：

 

2.map一個block device image

sudo rbd map foo --name client.admin [-m {mon-IP}] [-k /path/to/ceph.client.admin.keyring] [-p {pool-name}]

rbd map mypool/test --name client.admin -m 192.168.1.210 -k /etc/ceph/ceph.client.admin.keyring

 

3.創建一個文件系統並掛載

 

注意： 這里的rbd map和mount命令只是當時起作用。若系統重啟了，則需要重新手動做。 若要開機自動做，可參考官方文檔：rbdmap manpage.