一、GlusterFS簡介
- 開源的分布式文件系統
- 由存儲服務器、客戶端以及NFS/Samba 存儲網關組成
- 無元數據服務器
FS：文件系統
文件系統組成：
1、文件系統接口
2、對對像管理的軟件集合
3、對象及屬性
二、GlusterFS特點
- 擴展性和高性能
-
(1)Scale-Out架構允許通過簡單地增加存儲節點的方式來提高存儲容量和性能(磁盤、計算和I/0資源都可以獨立增加)，支持10GbE和InfiniBand等 高速網絡互聯
(2) Gluster彈 性哈希(ElasticHash) 解決了GlusterFS對元數據服務器的依賴，改善了單點故障和性能瓶頸，真正實現了並行化數據訪問。GlusterFS采用彈性哈希算法在存儲池中可以智能地定位任意數據分片(將數據分片存儲在不同節點上)，不需要查看索引或者向元數據服務器查詢
-
- 高可用性
-
GlusterFS可以對文件進行自動復制，如鏡像或多次復制，從而確保數據總是可以訪問，甚至是在硬件故障的情況下也能正常訪問
當數據出現不一致時，自我修復功能能夠把數據恢復到正確的狀態，數據的修復是以增量的方式在后台執行，幾乎不會產生性能負載。
GlusterFS可以支持所有的存儲，因為它沒有設計自己的私有數據文件格式，而是采用操作系統中主流標准的磁盤文件系統(如EXT3、XFS等)來存儲文件，因此數據可以使用傳統訪問磁盤的方式被訪問
-
- 全局統一命名空間
- 分布式存儲中，將所有節點的命名空間整合為統一命名空間，將整個系統的所有節點的存儲容量組成一-個大的虛擬存儲池，供前端主機訪問這些節點完成數據讀寫操作
- 彈性卷管理
-
GlusterFS通過將數據儲存在邏輯卷中，邏輯卷從邏輯存儲池進行獨立邏輯划分而得到
邏輯存儲池可以在線進行增加和移除，不會導致業務中斷。邏輯卷可以根據需求在線增長和縮減，並可以在多個節點中實現負載均衡
文件系統配置也可以實時在線進行更改並應用，從而可以適應工作負載條件變化或在線性能調優
-
- 基於標准協議
-
Gluster存儲服務支持NFS、CIFS、HTTP、 FTP、SMB及Gluster原生協議，完全與POSIX 標准( 可移植操作系統接口)兼容
現有應用程序不需要做任何修改就可以對Gluster中的數據進行訪問，也可以使用專用API進行訪問
-
三、GlusterFS術語
1、Brick（塊存儲服務器）實際存儲用戶數據的服務器
指可信主機池中由主機提供的用於物理存儲的專用分區，是GlusterFS中的基本存儲單元，同時也是可信存儲池中服務器上對外提供的存儲目錄
存儲目錄的格式由服務器和目錄的絕對路徑構成，表示方法為SERVER: EXPORT，如192.168.80.10:/data/mydir/
2、Volume本地文件系統的"分區"
一個邏輯卷是一組Brick 的集合。卷是數據存儲的邏輯設備，|類似於LVM中的邏輯卷。大部分Gluster
管理操作是在卷上進行的
3、FUSE用戶空間的文件系統（類別EXT4），”這是一個偽文件系統“，用戶端的交換模塊
是一個內核模塊，允許用戶創建自己的文件系統，無須修改內核代碼
4、VFS（虛擬端口）內核態的虛擬文件系統，用戶是提交請求給VFS 然后VFS交給FUSH，再交給GFS客戶端，最后由客戶端交給遠端的存儲
內核空間對用戶空間提供的訪問磁盤的接口
5、Glusterd（服務）是運行再存儲節點的進程（客戶端運行的是gluster client）GFS使用過程中整個GFS之間的交換由Gluster client 和glusterd完成
在存儲群集中的每個節點上都要運行
小結：使用GFS會使用到以上的虛擬文件系統
四、GlusterFS構成
模塊化堆棧式架構
- 模塊化、堆棧式的架構
- 通過對模塊的組合，實現復雜的功能
1、API：應用程序編程接口
2、模塊化：每個模塊可以提供不同的功能
3、堆棧式：同時啟用多個模塊，多個功能可以組合，實現復雜的功能
1、I/O cache：I/O緩存
2、read ahead：內核文件預讀
3、distribute/stripe：分布式、條帶化
4、Gige：千兆網/千兆接口
5、TCP/IP：網絡協議
6、InfiniBand：網絡協議，與TCP/IP相比，TCP/IP具有轉發丟失數據包的特性，基於此通信協議可能導致通信變慢，而IB使用基於信任的、流控制的機制來保證連接完整性
7、RDMA：負責數據傳輸，有一種數據傳輸協議，功能：為了解決傳輸過程中客戶端與服務器端數據處理的延遲
解讀上圖：
上半部分為客戶端，中間為網絡層，下半部分為服務端
1、封裝多個功能模塊，組成堆棧式的結構，來實現復雜的功能
2、然后以請求的方式與客戶端進行交互，客戶端與服務端進行交互，由於可能會存在系統兼容問題，需要通過posix來解決系統兼容性問題，讓客戶端的命令通過posix過濾后可以在服務端執行
上圖
1、外來一個請求，例：用戶端申請創建一個文件，客戶端或應用程序通過GFS的掛載點訪問數據
2、linux系統內容通過VFSAPI收到請求並處理
3、VFS將數據遞交給FUSE內核文件系統，fuse文件系統則是將數據通過/dev/fuse設備文件遞交給了GlusterFS client端
4、GlusterFS client端收到數據后，會根據配置文件的配置對數據進行處理
5、再通過網絡，將數據發送給遠端的ClusterFS server，並將數據寫入到服務器儲存設備上
6、server再將數據轉交給VFS偽文件系統，再由VFS進行轉存處理，最后交給EXT3
五、后端存儲如何定位文件
-
彈性HASH算法
通過HASH算法得到一個固定長度的數據（這里是32位整數）
通常情況下，不同數據得到的結果是不同的 -
為了解決分布式文件數據索引、定位的復雜程度，而使用了HASH算法來輔助
六、GFS支持的七種卷
1、分布式卷（默認）：文件通過HASH算法分布到所有Brick Server上，這種卷是GFS的基礎；以文件為單位根據HASH算法散列到不同的Brick，其實只是擴大了磁盤空間，並不具備容錯能力，屬於文件級RAID 0
2、條帶卷（默認）：類似RAID 0，文件被分成數據庫並以輪詢的方式分布到多個Brick Server上，文件存儲以數據塊為單位，支持大文件存儲，文件越大，讀取效率越高
3、復制卷（Replica volume）：將文件同步到多個Brick上，使其具備多個文件副本，屬於文件級RAID 1，具有容錯能力。因為數據分散在多個Brick中，所以讀性能得到很大提升，但寫性能下降
4、分布式條帶卷（Distribute Stripe volume）：Brick Server數量是條帶數（數據塊分布的Brick數量）的倍數，兼具分布式卷和條帶的特點
5、分布式復制卷（Distribute Replica volume）：Brick Server數量是鏡像數（數據副本 數量）的倍數，兼具分布式卷和復制卷的特點
6、條帶復制卷（Stripe Replca volume）：類似RAID 10，同時具有條帶卷和復制卷的特點
7、分布式條帶復制卷（Distribute Stripe Replicavolume）：三種基本卷的復合卷通常用於類Map Reduce應用
七、GFS部署
1、集群環境
Node1節點：node1/192.168.159.10 磁盤： /dev/sdb1 掛載點： /data/sdb1 /dev/sdc1 /data/sdc1 /dev/sdd1 /data/sdd1 /dev/sde1 /data/sde1 Node2節點：node2/192.168.159.20 磁盤： /dev/sdb1 掛載點： /data/sdb1 /dev/sdc1 /data/sdc1 /dev/sdd1 /data/sdd1 /dev/sde1 /data/sde1 Node3節點：node3/192.168.159.30 磁盤： /dev/sdb1 掛載點： /data/sdb1 /dev/sdc1 /data/sdc1 /dev/sdd1 /data/sdd1 /dev/sde1 /data/sde1 Node4節點：node4/192.168.159.40 磁盤： /dev/sdb1 掛載點： /data/sdb1 /dev/sdc1 /data/sdc1 /dev/sdd1 /data/sdd1 /dev/sde1 /data/sde1 =====客戶端節點：192.168.159.50=====
1、首先，每台節點添加四塊磁盤，僅做實驗，無需太大
2、然后，重啟服務器，准備開始部署
2、更改節點名稱
node1（192.168.159.10）
hostname node1 su -
node2（192.168.159.20）
hostname node2 su -
node3（192.168.159.30）
hostname node3 su -
node4（192.168.159.40）
hostname node4 su -
3、節點進行磁盤掛載，安裝本地源並啟動GlusterFS
所有節點（這里使用node1作為示范）
1.磁盤分區，並掛載
vim /opt/fdisk.sh
#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
mkfs.xfs /dev/${VAR}"1" &> /dev/null
mkdir -p /data/${VAR}"1" &> /dev/null
echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null
chmod +x /opt/fdisk.sh
cd /opt/
./fdisk.sh
2.修改主機名，配置/etc/hosts文件
#以Node1節點為例：
hostnamectl set-hostname node1
su
echo "192.168.116.60 node1" >> /etc/hosts #做IP與主機名映射
echo "192.168.116.70 node2" >> /etc/hosts
echo "192.168.116.80 node3" >> /etc/hosts
echo "192.168.116.90 node4" >> /etc/hosts
通過scp將腳本傳輸到其他node服務器上
全部分區及掛載
做IP和主機名的映射
直接傳到其他幾個node節點
安裝本地源並啟動GlusterFS
----- 安裝、啟動GlusterFS (所有node節點上操作) ----- #將gfsrepo軟件.上傳到/opt目錄下 cd /etc/yum.repos.d/ mkdir repo.bak mv *.repo repo.bak vim glfs.repo [glfs] name=glfs baseurl= file:///opt/gfsrepo gpgcheck=0 enabled=1 yum clean all && yum makecache #yum -y install centos-release-gluster #如采用官方YUM源安裝，可以直接指向互聯網倉庫 yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma systemctl start glusterd. service systemctl enable glusterd. service systemctl status glusterd. service
========添加節點到存儲信任池/群集中（在 node1 節點上操作）======== #只要在一台Node節點上添加其它節點即可 gluster peer probe node1 gluster peer probe node2 gluster peer probe node3 gluster peer probe node4 #在每個Node節點上查看群集狀態 gluster peer status ========根據以下規划創建卷========= 卷名稱 卷類型 Brick dis-volume 分布式卷 node1(/data/sdb1)、node2(/data/sdb1) stripe-volume 條帶卷 node1(/data/sdc1)、node2(/data/sdc1) rep-volume 復制卷 node3(/data/sdb1)、node4(/data/sdb1) dis-stripe 分布式條帶卷 node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1) dis-rep 分布式復制卷 node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1) 1.創建分布式卷 #創建分布式卷，沒有指定類型，默認創建的是分布式卷 gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force #查看卷列表 gluster volume list #啟動新建分布式卷 gluster volume start dis-volume #查看創建分布式卷信息 gluster volume info dis-volume 2.創建條帶卷 #指定類型為 stripe，數值為 2，且后面跟了 2 個 Brick Server，所以創建的是條帶卷 gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force gluster volume start stripe-volume gluster volume info stripe-volume 3.創建復制卷 #指定類型為 replica，數值為 2，且后面跟了 2 個 Brick Server，所以創建的是復制卷 gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force gluster volume start rep-volume gluster volume info rep-volume 4.創建分布式條帶卷 #指定類型為 stripe，數值為 2，而且后面跟了 4 個 Brick Server，是 2 的兩倍，所以創建的是分布式條帶卷 gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force gluster volume start dis-stripe gluster volume info dis-stripe 5.創建分布式復制卷 #指定類型為 replica，數值為 2，而且后面跟了 4 個 Brick Server，是 2 的兩倍，所以創建的是分布式復制卷 gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force gluster volume start dis-rep gluster volume info dis-rep gluster volume list
八.客戶端部署與測試
1.將gfsrepo軟件.上傳到/opt目錄下
2.配置本地yum源
cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak
vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
yum clean all && yum makecache
yum -y install glusterfs glusterfs-fuse
3.創建掛載目錄
mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
ls /test
4.配置/etc/hosts 文件
echo "192.168.116.60 node1" >> /etc/hosts
echo "192.168.116.70 node2" >> /etc/hosts
echo "192.168.116.80 node3" >> /etc/hosts
echo "192.168.116.90 node4" >> /etc/hosts
5.掛載 Gluster 文件系統
#臨時掛載
mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep
df -Th
#永久掛載
vim /etc/fstab
node1:dis-volume /test/dis glusterfs defaults,_netdev 0 0
node1:stripe-volume /test/stripe glusterfs defaults,_netdev 0 0
node1:rep-volume /test/rep glusterfs defaults,_netdev 0 0
node1:dis-stripe /test/dis_stripe glusterfs defaults,_netdev 0 0
node1:dis-rep /test/dis_rep glusterfs defaults,_netdev 0 0
======測試 Gluster 文件系統======
1．卷中寫入文件，客戶端操作
cd /opt
dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
dd if=/dev/zero of=/opt/demo5.log bs=1M count=40
ls -lh /opt
cp demo* /test/dis
cp demo* /test/stripe/
cp demo* /test/rep/
cp demo* /test/dis_stripe/
cp demo* /test/dis_rep/
2．查看文件分布
#查看分布式文件分布
[root@node1 ~]# ls -lh /data/sdb1 #數據沒有被分片
總用量 160M
-rw-r--r-- 2 root root 40M 12月 18 14:50 demo1.log
-rw-r--r-- 2 root root 40M 12月 18 14:50 demo2.log
-rw-r--r-- 2 root root 40M 12月 18 14:50 demo3.log
-rw-r--r-- 2 root root 40M 12月 18 14:50 demo4.log
[root@node2 ~]# ll -h /data/sdb1
總用量 40M
-rw-r--r-- 2 root root 40M 12月 18 14:50 demo5.log
#查看條帶卷文件分布
[root@node1 ~]# ls -lh /data/sdc1 #數據被分片50% 沒副本 沒冗余
總用量 101M
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log
[root@node2 ~]# ll -h /data/sdc1 #數據被分片50% 沒副本 沒冗余
總用量 101M
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log
#查看復制卷分布
[root@node3 ~]# ll -h /data/sdb1 #數據沒有被分片 有副本 有冗余
總用量 201M
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo1.log
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo2.log
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo3.log
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo4.log
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo5.log
[root@node4 ~]# ll -h /data/sdb1 #數據沒有被分片 有副本 有冗余
總用量 201M
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo1.log
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo2.log
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo3.log
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo4.log
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo5.log
#查看分布式條帶卷分布
[root@node1 ~]# ll -h /data/sdd1 #數據被分片50% 沒副本 沒冗余
總用量 81M
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log
[root@node2 ~]# ll -h /data/sdd1
總用量 81M
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log
[root@node3 ~]# ll -h /data/sdd1
總用量 21M
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log
[root@node4 ~]# ll -h /data/sdd1
總用量 21M
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log
#查看分布式復制卷分布 #數據沒有被分片 有副本 有冗余
[root@node1 ~]# ll -h /data/sde1
總用量 161M
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo1.log
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo2.log
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo3.log
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo4.log
[root@node2 ~]# ll -h /data/sde1
總用量 161M
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo1.log
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo2.log
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo3.log
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo4.log
[root@node3 ~]# ll -h /data/sde1
總用量 41M
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo5.log
[root@node3 ~]#
[root@node4 ~]# ll -h /data/sde1
總用量 41M
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo5.log
======破壞性測試======
#掛起 node2 節點或者關閉glusterd服務來模擬故障
[root@node2 ~]# systemctl stop glusterd.service
#在客戶端上查看文件是否正常
#分布式卷數據查看
[root@localhost dis]# ll #在客戶端上發現少了demo5.log文件，這個是在node2上的
總用量 163840
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo4.log
#條帶卷
[root@localhost text]# cd stripe/ #無法訪問，條帶卷不具備冗余性
[root@localhost stripe]# ll
總用量 0
#掛起 node2 和 node4 節點，在客戶端上查看文件是否正常
#測試復制卷是否正常
[root@localhost rep]# ls -l #在客戶機上測試正常 數據有
總用量 204800
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo4.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log
#測試分布式條帶卷是否正常
[root@localhost dis_stripe]# ll #在客戶機上測試正常 沒有數據
總用量 0
#測試分布式復制卷是否正常
[root@localhost dis_rep]# ll #在客戶機上測試正常 有數據
總用量 204800
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log
測試總結
凡是帶復制的卷，相比而言，數據比較安全
分布式卷文件分布：數據不被分片
條帶卷文件分布：數據被分片 ，沒副本 ，沒冗余
復制卷文件分布：數據不被分片，有副本，可以冗余
分布式條帶卷文件分布：數據被分片，無副本，沒冗余
分布式復制卷文件分布：數據不被分片，有副本，可以冗余
補充：
其它GFS常用命令
1．查看GlusterFS卷 gluster volume list 2．查看所有卷的信息 gluster volume info 3．查看所有卷的狀態 gluster volume status 4．停止一個卷 gluster volume stop dis-stripe 5．刪除一個卷，注意：刪除卷時，需要先停止卷，且信任池中不能有主機處於宕機狀態，否則刪除不成功 gluster volume delete dis-stripe 6．設置卷的訪問控制 #僅拒絕 gluster volume set dis-rep auth.allow 192.168.200.100 #僅允許 gluster volume set dis-rep auth.allow 192.168.200.* #設置192.168.200.0網段的所有IP地址都能訪問dis-rep卷（分布式復制卷）