一、准備工作
本文描述如何安裝 ceph 客戶端，使用 Ceph 塊設備 創建文件系統並掛載使用。
必須先完成 ceph 存儲集群的搭建，並確保 Ceph 存儲集群處於 active + clean 狀態，這樣才能使用 Ceph 塊設備。
Ceph 塊設備也叫 RBD 或 RADOS 塊設備。
| hostname | ip |
|---|---|
| admin-node | 192.168.0.130 |
| ceph-client | 192.168.0.134 |
注：你可以在虛擬機上運行 ceph-client 節點，但是不能在與 Ceph 存儲集群（除非它們也用 VM ）相同的物理節點上執行下列步驟。
二、安裝 Ceph
在 ceph-client 節點安裝 Ceph。
- 確認你使用了合適的內核版本
uname -r
//CentOS 內核要求 3.10.*
- 安裝 NPT
# sudo yum install ntp ntpdate ntp-doc
- 安裝 SSH
# sudo yum install openssh-server
- 創建新用戶
# sudo useradd -d /home/zeng -m zeng
# sudo passwd zeng
- 確保新用戶有 sudo 權限
# echo "zeng ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/zeng
# sudo chmod 0440 /etc/sudoers.d/zeng
- 在管理節點上，將 ceph-client 添加到管理節點的 hosts 文件
$ sudo echo '192.168.0.134 ceph-client' >> /etc/hosts
- 在管理節點上，允許管理節點無密碼登錄 ceph-client
$ ssh-copy-id zeng@ceph-client
- 在管理節點上，通過 ceph-deploy 把 Ceph 安裝到 ceph-client 節點
$ cd /home/zeng/my-cluster
$ ceph-deploy install ceph-client
- 在管理節點上，用 ceph-deploy 把 Ceph 配置文件和 ceph.client.admin.keyring 拷貝到 ceph-client 。
$ ceph-deploy admin ceph-client
- 修改密鑰文件的權限
ceph-deploy 工具會把密鑰環復制到 /etc/ceph 目錄，要確保此密鑰環文件有讀權限：
# sudo chmod +r /etc/ceph/ceph.client.admin.keyring
三、使用塊存儲
在 ceph-client 節點上操作。
- 創建塊設備映像
{pool-name}/{image-name}
存儲池相關操作，可以參考 存儲池
$ ceph osd pool create mypool 128
$ rbd create --size 1024 mypool/myimage --image-feature layering
$ rbd ls mypool
$ rbd info mypool/myimage
rbd image 'myimage':
size 1024 MB in 256 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.31d606b8b4567
format: 2
features: layering
flags:
// 這里通過 --image-feature layering 指定了 features: layering，否則 map 可能出錯
// 也可以將 rbd_default_features = 1 添加到 /etc/ceph/ceph.conf 的 [global]
- 映射塊設備
{pool-name}/{image-name}
$ sudo rbd map mypool/myimage --id admin
/dev/rbd0 # 注：rbd0 說明這是映射的第一個塊設備
$ rbd showmapped
id pool image snap device
0 mypool myimage - /dev/rbd0 # 說明 myimage 映射到了 /dev/rbd0
事實上，創建的塊設備映像，就在 /dev/rbd/{pool-name}/ 下：
$ cd /dev/rbd/mypool
$ ll
lrwxrwxrwx. 1 root root 10 10月 25 09:34 myimage -> ../../rbd0
- 使用塊設備
/dev/rbd/{pool-name}/{image-name}創建文件系統
$ sudo mkfs.xfs /dev/rbd/mypool/myimage
此命令可能耗時較長。
- 將該文件系統掛載到
/mnt/ceph-block-device文件夾下
$ sudo mkdir /mnt/ceph-block-device
$ sudo mount /dev/rbd/mypool/myimage /mnt/ceph-block-device
$ df -h
文件系統 容量 已用 可用 已用% 掛載點
/dev/mapper/centos-root 17G 1.3G 16G 8% /
devtmpfs 910M 0 910M 0% /dev
tmpfs 920M 0 920M 0% /dev/shm
tmpfs 920M 8.4M 912M 1% /run
tmpfs 920M 0 920M 0% /sys/fs/cgroup
/dev/sda1 1014M 142M 873M 14% /boot
tmpfs 184M 0 184M 0% /run/user/1000
/dev/rbd0 976M 2.6M 958M 1% /mnt/ceph-block-device
此時，就可以使用 /mnt/ceph-block-device 這個目錄了。
- 塊設備擴容
//調整塊設備大小為20G
$ rbd resize --size 20480 mypool/myimage
Resizing image: 100% complete...done.
//支持文件系統在線擴容
$ sudo resize2fs /dev/rbd0
resize2fs 1.42.9 (28-Dec-2013)
Filesystem at /dev/rbd0 is mounted on /mnt/ceph-block-device; on-line resizing required
old_desc_blocks = 1, new_desc_blocks = 3
The filesystem on /dev/rbd0 is now 5242880 blocks long.
//發現 /dev/rbd0 的容量變為20G
[zeng@ceph-client mnt]$ df -h
文件系統 容量 已用 可用 已用% 掛載點
/dev/mapper/centos-root 17G 1.3G 16G 8% /
devtmpfs 910M 0 910M 0% /dev
tmpfs 920M 0 920M 0% /dev/shm
tmpfs 920M 8.4M 912M 1% /run
tmpfs 920M 0 920M 0% /sys/fs/cgroup
/dev/sda1 1014M 142M 873M 14% /boot
tmpfs 184M 0 184M 0% /run/user/1000
/dev/rbd0 20G 5.4M 19G 1% /mnt/ceph-block-device
- 解掛文件系統
$ sudo umount /mnt/ceph-block-device
如果解掛提示"device is busy"，則先執行：
$ sudo yum install psmisc
$ fuser -m /mnt/ceph-block-device
$ kill -9 PID
- 取消塊設備映射
$ sudo rbd unmap /dev/rbd/mypool/myimage
$ rbd showmapped
- 刪除塊設備
$ rbd rm mypool/myimage
Removing image: 100% complete...done.
$ rbd ls mypool