目錄：
二、GFS部署
三、客戶端部署與測試
一、GlusterFS概述
1、GlusterFS簡介
① GlusterFS是一-個開源的分布式文件系統。
由存儲服務器、客戶端以及NFS/Samba存儲網關(可選，根據需要選擇使用)組成。
沒有元數據服務器組件，這有助於提升整個系統的性能、可靠性和穩定性。
② 傳統的分布式文件系統大多通過元服務器來存儲元數據，元數據包含存儲節點上的目錄信息、目錄結構等。這樣的設計在瀏覽目錄時效率高，但是也存在一-些缺陷，例如單點故障。一旦元數據服務器出現故障，即使節點具備再高的冗余性，整個存儲系統也將崩潰。而GlusterFS分布式文件系統是基於無元服務器的設計，數據橫向擴展能力強，具備較高的可靠性及存儲效率。
③ GlusterFS同時也是Scale-Out ( 橫向擴展) 存儲解決方案Gluster的核心，在存儲數據方面具有強大的橫向擴展能力，通過擴展能夠支持數PB存儲容量和處理數千客戶端。
④ GlusterFS支持借助TCP/ IP或InfiniBandRDMA網絡(一種支持多並發鏈接的技術，具有高帶寬、低時延、高擴展性的特點)將物理分散分布的存儲資源匯聚在一-起，統一提供存儲服務，並使用統一-全局命名空間來管理數據。
2、GlusterFS特點
● 擴展性和高性能
GlusterFS利用雙重特性來提供高容量存儲解決方案。
(1)Scale-Out架構允許通過簡單地增加存儲節點的方式來提高存儲容量和性能(磁盤、計算和I/0資源都可以獨立增加)，支持10GbE和InfiniBand等 高速網絡互聯
(2) Gluster彈 性哈希(ElasticHash) 解決了GlusterFS對元數據服務器的依賴，改善了單點故障和性能瓶頸，真正實現了並行化數據訪問。GlusterFS采用彈性哈希算法在存儲池中可以智能地定位任意數據分片(將數據分片存儲在不同節點上)，不需要查看索引或者向元數據服務器查詢
● 高可用性
GlusterFS可以對文件進行自動復制，如鏡像或多次復制，從而確保數據總是可以訪問，甚至是在硬件故障的情況下也能正常訪問
當數據出現不一致時，自我修復功能能夠把數據恢復到正確的狀態，數據的修復是以增量的方式在后台執行，幾乎不會產生性能負載。
GlusterFS可以支持所有的存儲，因為它沒有設計自己的私有數據文件格式，而是采用操作系統中主流標准的磁盤文件系統(如EXT3、XFS等)來存儲文件，因此數據可以使用傳統訪問磁盤的方式被訪問
● 全局統一命名空間
分布式存儲中，將所有節點的命名空間整合為統一命名空間，將整個系統的所有節點的存儲容量組成一-個大的虛擬存儲池，供前端主機訪問這些節點完成數據讀寫操作
● 彈性卷管理
GlusterFS通過將數據儲存在邏輯卷中，邏輯卷從邏輯存儲池進行獨立邏輯划分而得到
邏輯存儲池可以在線進行增加和移除，不會導致業務中斷。邏輯卷可以根據需求在線增長和縮減，並可以在多個節點中實現負載均衡
文件系統配置也可以實時在線進行更改並應用，從而可以適應工作負載條件變化或在線性能調優
● 基於標准協議
Gluster存儲服務支持NFS、CIFS、HTTP、 FTP、SMB及Gluster原生協議，完全與POSIX 標准( 可移植操作系統接口)兼容
現有應用程序不需要做任何修改就可以對Gluster中的數據進行訪問，也可以使用專用API進行訪問
3、GlusterFS術語
● Brick (存儲塊) :
指可信主機池中由主機提供的用於物理存儲的專用分區，是GlusterFS中的基本存儲單元，同時也是可信存儲池中服務器上對外提供的存儲目錄
存儲目錄的格式由服務器和目錄的絕對路徑構成，表示方法為SERVER: EXPORT，如192.168.80.10:/data/mydir/
● Volume (邏輯卷) :
一個邏輯卷是一組Brick 的集合。卷是數據存儲的邏輯設備，|類似於LVM中的邏輯卷。大部分Gluster
管理操作是在卷上進行的
● FUSE:
是一個內核模塊，允許用戶創建自己的文件系統，無須修改內核代碼
● VFS:
內核空間對用戶空間提供的訪問磁盤的接口
● Glusterd ( 后台管理進程) :
在存儲群集中的每個節點上都要運行
4、模塊化堆棧式架構
GlusterFS采用模塊化、堆棧式的架構。
通過對模塊進行各種組合，即可實現復雜的功能。例如Replicate 模塊可實現RAID1，Stripe 模塊可實現RAIDO
通過兩者的組合可實現RAID10和RAID01，同時獲得更高的性能及可靠性。.
5、GlusterFS 工作流程
(1) 客戶端或應用程序通過GlusterFS 的掛載點訪問數據。
(2) linux 系統內核通過VFS API收到請求並處理。
(3) VFS將數據遞交給FUSE內核文件系統，並向系統注冊-一個實際的文件系統FUSE，而FUSE文件系統則是將數據通過/dev/fuse 設備文件遞交給了GlusterFS client端。可以將FUSE 文件系統理解為一個代理。
(4) GlusterFS client 收到數據后，client 根據配置文件的配置對數據進行處理。
(5) 經過GlusterFS client 處理后，通過網絡將數據傳遞至遠端的GlusterFS Server,並且將數據寫入到服務器存儲設備上。
6、彈性HASH算法
彈性HASH 算法是Davies-Meyer 算法的具體實現，通過HASH 算法可以得到一個32位的整數范圍的hash 值，假設邏輯卷中有N個存儲單位Brick， 則32位的整數范圍將被划分為N個連續的子空間，每個空間對應一個Brick。當用戶或應用程序訪問某一個命名空間時，通過對該命名空間計算HASH值，根據該HASH值所對應的32位整數空間定位數據所在的Brick。
彈性HASH 算法的優點:
- 保證數據平均分布在每一個Brick中。
- 解決了對元數據服務器的依賴，進而解決了單點故障以及訪問瓶頸。
7、GlusterFs的卷類型
GlusterFS支持七種卷，即分布式卷、條帶卷、復制卷、分布式條帶卷、分布式復制卷、條帶復制卷和分布式條帶復制卷
● 分布式卷( Distribute volume)
文件通過HASH算法分布到所有Brick Server上，這種卷是GlusterFS 的默認卷;以文件為單位根據HASH算法散列到不同的Brick， 其實只是擴大了磁盤空間，如果有一塊磁盤損壞，數據也將丟失，屬於文件級的RAIDO,不具有容錯能力
在該模式下，並沒有對文件進行分塊處理，文件直接存儲在某個Server 節點上
由於直接使用本地文件系統進行文件存儲，所以存取效率並沒有提高，反而會因為網絡通信的原因而有所降低
示例原理:
File1 和File2存放在Server1， 而File3存放在Server2， 文件都是隨機存儲，一個文件(如Filel) 要么在Server1上，要么在Server2上，不能分塊同時存放在Server1和 Server2上
分布式卷具有如下特點:
- 文件分布在不同的服務器，不具備冗余性
- 更容易和廉價地擴展卷的大小
- 單點故障會造成數據丟失
- 依賴底層的數據保護
創建一個名為dis-volume的分布式卷，文件將根據HASH分布在server1 :/dir1、server2:/dir2 和server3:/dir3中
gluster volume create dis-volume server1:/dir1 server2:/dir2 server3:/dir3
● 條帶卷(Stripe volume) :
類似RAIDO，文件被分成數據塊並以輪詢的方式分布到多個BrickServer.上，文件存儲以數據塊為單位，支持大文件存儲，文件越大，讀取效率越高，但是不具備冗余性
示例原理:
File被分割為6段，1、3、5放在Server1，2、4、6放在Server2
條帶卷特點:
- 數據被分割成更小塊分布到塊服務器群中的不同條帶區
- 分布減少了負載且更小的文件加速了存取的速度
- 沒有數據冗余
創建了一個名為stripe-volume的條帶卷，文件將被分塊輪詢的存儲在Server1 : /dir1和Server2:/dir2兩個Brick中
gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2
● 復制卷(Replica volume) :
將文件同步到多個Brick 上，使其具備多個文件副本，屬於文件級RAID 1，具有容錯能力。因為數據分散在多個Brick中，所以讀性能得到很大提升，但寫性能下降
復制卷具備冗余性，即使一個節點損壞，也不影響數據的正常使用。但因為要保存副本，所以磁盤利用率較低
示例原理:
File1同時存在Server1 和Server2， File2 也是如此，相當於Server2 中的文件是Server1 中文件的副本
復制卷特點:
- 卷中所有的服務器均保存一個完整的副本
- 卷的副本數量可由客戶創建的時候決定，但復制數必須等於卷中Brick所包含的存儲服務器數
- 至少由兩個塊服務器或更多服務器
- 具備冗余性
創建名為rep-volume的復制卷，文件將同時存儲兩個副本，分別在Server1 :/dir1和Server2:/dir2兩個Brick中
gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2
● 分布式條帶卷(Distribute Stripe volume) :
BrickServer數量是條帶數(數據塊分布的Brick數量)的倍數，兼具分布式卷和條帶卷的特點
主要用於大文件訪問處理，創建一個分布式條帶卷最少需要4台服務器
示例原理:
Filel和File2 通過分布式卷的功能分別定位到Server1和Server2。 在Serverl 中，File1 被分割成4段，其中1、3在Server1中的exp1目錄中，2、4在Server1中的exp2 目錄中。在Server2 中，File2也被分割成4段，其中1、3在Server2中的exp3目錄中，2、4在Server2中的exp4 目錄中
創建一個名為dis-stripe的分布式條帶卷，配置分布式的條帶卷時，卷中Brick所包含的存儲服務器數必須是條帶數的倍數(>=2倍)。Brick的數量是4 (Server1:/dir1、 Server2:/dir2、 Server3:/dir3 和Server4:/dir4) ，條帶數為2 (stripe 2)
gluster volume create dis-stripe stripe 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4
創建卷時，存儲服務器的數量如果等於條帶或復制數，那么創建的是條帶卷或者復制卷;如果存儲服務器的數量是條帶或復制數的2倍甚至更多，那么將創建的是分布式條帶卷或分布式復制卷
● 分布式復制卷(Distribute Replica volume) :
Brick Server數量是鏡像數( 數據副本數量)的倍數，兼具分布式卷和復制卷的特點。主要用於需要冗余的情況下。
示例原理：
File1和File2 通過分布式卷的功能分別定位到Server1 和Server2。 在存放File1 時，File1
根據復制卷的特性，將存在兩個相同的副本，分別是Server1中的exp1目錄和Server2中的exp2目錄。在存放File2
時，File2 根據復制卷的特性，也將存在兩個相同的副本，分別是Server3 中的exp3 目 錄和Server4中的exp4 目錄。
創建一個名為dis-rep的分布式復制卷，配置分布式的復制卷時，卷中Brick所包含的存儲服務器數必須是復制數的倍數(>=2倍)。Brick 的數量是4 ( Server1: /dir1、 Server2: /dir2、 Server3: /dir3 和Server4: /dir4)，復制數為2 (replica 2 )
gluster volume create dis-rep replica 2 transport tcp server1: /dir1 server2: /dir2 server3: /dir3 server4: /dir4
● 條帶復制卷(Stripe Replica volume) :
類似RAID10，同時具有條帶卷和復制卷的特點
● 分布式條帶復制卷(Distribute Stripe Replicavolume) :
三種基本卷的復合卷，通常用於類Map Reduce 應用
二、GFS部署
1、集群環境
Node1節點：node1/192.168.91.5 磁盤： /dev/sdb1 掛載點： /data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node2節點：node2/192.168.91.10 磁盤： /dev/sdb1 掛載點： /data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node3節點：node3/192.168.91.15 磁盤： /dev/sdb1 掛載點： /data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node4節點：node4/192.168.91.20 磁盤： /dev/sdb1 掛載點： /data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
=====客戶端節點：192.168.91.25=====
1、首先，每台節點添加四塊磁盤，僅做實驗，無需太大
2、然后，重啟服務器，准備開始部署
1、關閉防火牆
systemctl stop firewalld setenforce 0
2、更改節點名稱
#以Node1節點為例： hostnamectl set-hostname node1 su echo "192.168.116.60 node1" >> /etc/hosts #做IP與主機名映射 echo "192.168.116.70 node2" >> /etc/hosts echo "192.168.116.80 node3" >> /etc/hosts echo "192.168.116.90 node4" >> /etc/hosts
3、磁盤分區，並掛載
vim /opt/fdisk.sh
#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -0 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
mkfs.xfs /dev/${VAR}"1" &> /dev/null
mkdir -p /data/${VAR}"1" &> /dev/null
echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null
chmod +x /opt/fdisk.sh
cd /opt/
./fdisk.sh
----- 安裝、啟動GlusterFS (所有node節點上操作) ----- #將gfsrepo軟件.上傳到/opt目錄下 cd /etc/yum.repos.d/ mkdir repo.bak mv *.repo repo.bak vim glfs.repo [glfs] name=glfs baseurl= file:///opt/gfsrepo gpgcheck=0 enabled=1 yum clean all && yum makecache #yum -y install centos-release-gluster #如采用官方YUM源安裝，可以直接指向互聯網倉庫 yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma systemctl start glusterd. service systemctl enable glusterd. service systemctl status glusterd. service
每個節點都要操作
========添加節點到存儲信任池/群集中（在 node1 節點上操作）======== #只要在一台Node節點上添加其它節點即可 gluster peer probe node1 gluster peer probe node2 gluster peer probe node3 gluster peer probe node4 #在每個Node節點上查看群集狀態 gluster peer status
========根據以下規划創建卷========= 卷名稱 卷類型 Brick dis-volume 分布式卷 node1(/data/sdb1)、node2(/data/sdb1) stripe-volume 條帶卷 node1(/data/sdc1)、node2(/data/sdc1) rep-volume 復制卷 node3(/data/sdb1)、node4(/data/sdb1) dis-stripe 分布式條帶卷 node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1) dis-rep 分布式復制卷 node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1) 1.創建分布式卷 #創建分布式卷，沒有指定類型，默認創建的是分布式卷 gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force #查看卷列表 gluster volume list #啟動新建分布式卷 gluster volume start dis-volume #查看創建分布式卷信息 gluster volume info dis-volume 2.創建條帶卷 #指定類型為 stripe，數值為 2，且后面跟了 2 個 Brick Server，所以創建的是條帶卷 gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force gluster volume start stripe-volume gluster volume info stripe-volume 3.創建復制卷 #指定類型為 replica，數值為 2，且后面跟了 2 個 Brick Server，所以創建的是復制卷 gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force gluster volume start rep-volume gluster volume info rep-volume 4.創建分布式條帶卷 #指定類型為 stripe，數值為 2，而且后面跟了 4 個 Brick Server，是 2 的兩倍，所以創建的是分布式條帶卷 gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force gluster volume start dis-stripe gluster volume info dis-stripe 5.創建分布式復制卷 #指定類型為 replica，數值為 2，而且后面跟了 4 個 Brick Server，是 2 的兩倍，所以創建的是分布式復制卷 gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force gluster volume start dis-rep gluster volume info dis-rep gluster volume list
三、客戶端部署與測試
1.將gfsrepo軟件.上傳到/opt目錄下
2.配置本地yum源
cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak
vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
yum clean all && yum makecache
yum -y install glusterfs glusterfs-fuse
3.創建掛載目錄
mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
ls /test
4.配置/etc/hosts 文件
echo "192.168.116.60 node1" >> /etc/hosts
echo "192.168.116.70 node2" >> /etc/hosts
echo "192.168.116.80 node3" >> /etc/hosts
echo "192.168.116.90 node4" >> /etc/hosts
5.掛載 Gluster 文件系統
#臨時掛載
mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep
df -Th
#永久掛載
vim /etc/fstab
node1:dis-volume /test/dis glusterfs defaults,_netdev 0 0
node1:stripe-volume /test/stripe glusterfs defaults,_netdev 0 0
node1:rep-volume /test/rep glusterfs defaults,_netdev 0 0
node1:dis-stripe /test/dis_stripe glusterfs defaults,_netdev 0 0
node1:dis-rep /test/dis_rep glusterfs defaults,_netdev 0 0
======測試 Gluster 文件系統====== 1．卷中寫入文件，客戶端操作 cd /opt dd if=/dev/zero of=/opt/demo1.log bs=1M count=40 dd if=/dev/zero of=/opt/demo2.log bs=1M count=40 dd if=/dev/zero of=/opt/demo3.log bs=1M count=40 dd if=/dev/zero of=/opt/demo4.log bs=1M count=40 dd if=/dev/zero of=/opt/demo5.log bs=1M count=40 ls -lh /opt cp demo* /test/dis cp demo* /test/stripe/ cp demo* /test/rep/ cp demo* /test/dis_stripe/ cp demo* /test/dis_rep/ 2．查看文件分布 #查看分布式文件分布 [root@node1 ~]# ls -lh /data/sdb1 #數據沒有被分片 總用量 160M -rw-r--r-- 2 root root 40M 12月 18 14:50 demo1.log -rw-r--r-- 2 root root 40M 12月 18 14:50 demo2.log -rw-r--r-- 2 root root 40M 12月 18 14:50 demo3.log -rw-r--r-- 2 root root 40M 12月 18 14:50 demo4.log [root@node2 ~]# ll -h /data/sdb1 總用量 40M -rw-r--r-- 2 root root 40M 12月 18 14:50 demo5.log #查看條帶卷文件分布 [root@node1 ~]# ls -lh /data/sdc1 #數據被分片50% 沒副本 沒冗余 總用量 101M -rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log [root@node2 ~]# ll -h /data/sdc1 #數據被分片50% 沒副本 沒冗余 總用量 101M -rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log #查看復制卷分布 [root@node3 ~]# ll -h /data/sdb1 #數據沒有被分片 有副本 有冗余 總用量 201M -rw-r--r-- 2 root root 40M 12月 18 14:51 demo1.log -rw-r--r-- 2 root root 40M 12月 18 14:51 demo2.log -rw-r--r-- 2 root root 40M 12月 18 14:51 demo3.log -rw-r--r-- 2 root root 40M 12月 18 14:51 demo4.log -rw-r--r-- 2 root root 40M 12月 18 14:51 demo5.log [root@node4 ~]# ll -h /data/sdb1 #數據沒有被分片 有副本 有冗余 總用量 201M -rw-r--r-- 2 root root 40M 12月 18 14:51 demo1.log -rw-r--r-- 2 root root 40M 12月 18 14:51 demo2.log -rw-r--r-- 2 root root 40M 12月 18 14:51 demo3.log -rw-r--r-- 2 root root 40M 12月 18 14:51 demo4.log -rw-r--r-- 2 root root 40M 12月 18 14:51 demo5.log #查看分布式條帶卷分布 [root@node1 ~]# ll -h /data/sdd1 #數據被分片50% 沒副本 沒冗余 總用量 81M -rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log [root@node2 ~]# ll -h /data/sdd1 總用量 81M -rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log [root@node3 ~]# ll -h /data/sdd1 總用量 21M -rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log [root@node4 ~]# ll -h /data/sdd1 總用量 21M -rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log #查看分布式復制卷分布 #數據沒有被分片 有副本 有冗余 [root@node1 ~]# ll -h /data/sde1 總用量 161M -rw-r--r-- 2 root root 40M 12月 18 14:52 demo1.log -rw-r--r-- 2 root root 40M 12月 18 14:52 demo2.log -rw-r--r-- 2 root root 40M 12月 18 14:52 demo3.log -rw-r--r-- 2 root root 40M 12月 18 14:52 demo4.log [root@node2 ~]# ll -h /data/sde1 總用量 161M -rw-r--r-- 2 root root 40M 12月 18 14:52 demo1.log -rw-r--r-- 2 root root 40M 12月 18 14:52 demo2.log -rw-r--r-- 2 root root 40M 12月 18 14:52 demo3.log -rw-r--r-- 2 root root 40M 12月 18 14:52 demo4.log [root@node3 ~]# ll -h /data/sde1 總用量 41M -rw-r--r-- 2 root root 40M 12月 18 14:52 demo5.log [root@node3 ~]# [root@node4 ~]# ll -h /data/sde1 總用量 41M -rw-r--r-- 2 root root 40M 12月 18 14:52 demo5.log
文件分布就不展示了，太多截圖了
======破壞性測試====== #掛起 node2 節點或者關閉glusterd服務來模擬故障 [root@node2 ~]# systemctl stop glusterd.service #在客戶端上查看文件是否正常 #分布式卷數據查看 [root@localhost dis]# ll #在客戶端上發現少了demo5.log文件，這個是在node2上的 總用量 163840 -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo1.log -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo2.log -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo3.log -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo4.log #條帶卷 [root@localhost text]# cd stripe/ #無法訪問，條帶卷不具備冗余性 [root@localhost stripe]# ll 總用量 0 #掛起 node2 和 node4 節點，在客戶端上查看文件是否正常 #測試復制卷是否正常 [root@localhost rep]# ls -l #在客戶機上測試正常 數據有 總用量 204800 -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo1.log -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo2.log -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo3.log -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo4.log -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log #測試分布式條帶卷是否正常 [root@localhost dis_stripe]# ll #在客戶機上測試正常 沒有數據 總用量 0 #測試分布式復制卷是否正常 [root@localhost dis_rep]# ll #在客戶機上測試正常 有數據 總用量 204800 -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log
其他就不一一測試了
測試總結
凡是帶復制的卷，相比而言，數據比較安全
分布式卷文件分布：數據不被分片
條帶卷文件分布：數據被分片 ，沒副本 ，沒冗余
復制卷文件分布：數據不被分片，有副本，可以冗余
分布式條帶卷文件分布：數據被分片，無副本，沒冗余
分布式復制卷文件分布：數據不被分片，有副本，可以冗余
補充：
其它GFS常用命令
1．查看GlusterFS卷 gluster volume list 2．查看所有卷的信息 gluster volume info 3．查看所有卷的狀態 gluster volume status 4．停止一個卷 gluster volume stop dis-stripe 5．刪除一個卷，注意：刪除卷時，需要先停止卷，且信任池中不能有主機處於宕機狀態，否則刪除不成功 gluster volume delete dis-stripe 6．設置卷的訪問控制 #僅拒絕 gluster volume set dis-rep auth.allow 192.168.184.100 #僅允許 gluster volume set dis-rep auth.allow 192.168.184.* #設置192.168.184.0網段的所有IP地址都能訪問dis-rep卷（分布式復制卷