cephfs創建及掛載

Ceph 文件系統（ Ceph FS ）是個 POSIX 兼容的文件系統，它使用 Ceph 存儲集群來存儲數據。Ceph 文件系統要求 Ceph 存儲集群內至少有一個 Ceph 元數據服務器。

1、添加MDS，接上篇，這里把ceph01節點作為元數據服務器MDS。
```
#ceph-deploy mds create ceph01
#netstat -tnlp | grep mds
tcp 0 0 172.16.100.5:6804 0.0.0.0:* LISTEN 12787/ceph-mds
```

2、創建兩個存儲池。MDS需要使用兩個pool，一個pool用來存儲數據，一個pool用來存儲元數據。
```
#ceph osd pool create fs_data 32
#ceph osd pool create fs_metadata 32
#rados lspools
```

3、創建Cephfs
```
#ceph fs new cephfs fs_metadata fs_data
#ceph fs ls
name: cephfs, metadata pool: fs_metadata, data pools: [fs_data ]
```

4、查看MDS狀態
```
#ceph mds stat
e5: 1/1/1 up {0=ceph01=up:active}
```
---

### 掛載Cephfs

CephFS有不同的掛載方式，這里只說其中一種，后面結合k8s使用的時候會用到該種方式。

1、加載rbd內核模塊
```
#modprobe rbd
#lsmod | grep rbd
rbd 83938 0
libceph 287066 2 rbd,ceph
```

2、獲取admin key
```
#cat ceph.client.admin.keyring
[client.admin]
key = AQDchXhYTtjwHBAAk2/H1Ypa23WxKv4jA1NFWw==
caps mds = "allow *"
caps mon = "allow *"
caps osd = "allow *"
```

3、創建掛載點，嘗試本地掛載
```
#mkdir /cephfs_test
#mount -t ceph 172.16.100.5:6789:/ /cephfs_test -o name=admin,secret=AQDchXhYTtjwHBAAk2/H1Ypa23WxKv4jA1NFWw==
#df -hT
172.16.100.5:6789:/ ceph 60G 104M 60G 1% /cephfs_test
```

4、如果有多個mon節點，可以掛載多個節點，保證了CephFS的高可用，當有一個節點down的時候不影響數據讀寫
```
#mount -t ceph 172.16.100.5,172.16.100.6,172.16.100.7:6789:/ /cephfs_test -o name=admin,secret=AQDchXhYTtjwHBAAk2/H1Ypa23WxKv4jA1NFWw==
#df -hT
172.16.100.5,172.16.100.6,172.16.100.7:6789:/ ceph 60G 104M 60G 1% /cephfs_test
```