一、分布式文件系統介紹
分布式文件系統：Distributed file system, DFS，又叫做網絡文件系統：Network File System。一種允許文件通過網絡在多台主機上分享的文件系統，可讓多機器上的多用戶分享文件和存儲空間。
特點：在一個分享的磁盤文件系統中，所有節點對數據存儲區塊都有相同的訪問權，在這樣的系統中，訪問權限就必須由客戶端程序來控制。分布式文件系統可能包含的功能有：透通的數據復制與容錯。
分布式文件系統是被設計用在局域網。而分布式數據存儲，則是泛指應用分布式運算技術的文件和數據庫等提供數據存儲服務的系統。
決定因素：數據的存儲方式、數據的讀取速率、數據的安全機制。
發展歷史：大致分為三個發展階段，網絡文件系統(1980s)、共享SAN文件系統(1990s)、面向對象的並行文件系統(2000s)。
二、FastDFS分布式系統架構介紹
FastDFS：是一個開源的輕量級分布式文件系統，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。特別適合中小文件（建議范圍：4KB < file_size <500MB），對以文件為載體的在線服務，如相冊網站、視頻網站等。
FastDFS是為互聯網應用量身定做的分布式文件系統，充分考慮了冗余備份、負載均衡、線性擴容等機制，並注重高可用、高性能等指標。和現有的類Google FS分布式文件系統相比，FastDFS的架構和設計理念有其獨到之處，主要體現在輕量級、分組方式和對等結構三個方面。
FastDFS架構圖
FastDFS服務端有兩個角色：跟蹤器（tracker）和存儲節點（storage）。跟蹤器主要做調度工作，在訪問上起負載均衡的作用。
FastDFS模塊介紹
1）tracker server：跟蹤服務器，用來調度來自客戶端的請求，且在內存中記錄所有存儲組和存儲服務器的信息狀態。
2）storage server：存儲服務器，用來存儲文件(data)和文件屬性(metadata)。
3）client：客戶端，業務請求發起方，通過專用接口基於TCP協議與tracker server和storage server進行交互。
4）group：組，也可稱為卷，同組內上的文件是完全相同的。
5）文件標識：包括兩部分，組名（group）和文件名（含路徑）
6）文件相關屬性：鍵值對(Key Value Pair)方式
7）文件名：與原文件名並不相同。由storage server根據特定信息生成，並且可逆，文件名包含：源存儲服務器的IP地址、文件創建時間戳、文件大小、隨機數和文件擴展名等。
FastDFS由跟蹤服務器(Tracker Server)、存儲服務器(Storage Server)和客戶端(Client)構成，其中：
跟蹤服務器Tracker Server
主要做調度工作，起到均衡的作用；負責管理所有的 storage server和 group，每個 storage 在啟動后會連接 Tracker，告知自己所屬 group 等信息，並保持周期性心跳。tracker根據storage的心跳信息，建立group==>[storage serverlist]的映射表。
Tracker需要管理的元信息很少，會全部存儲在內存中；另外tracker上的元信息都是由storage匯報的信息生成的，本身不需要持久化任何數據，這樣使得tracker非常容易擴展，直接增加tracker機器即可擴展為tracker cluster來服務，cluster里每個tracker之間是完全對等的，所有的tracker都接受stroage的心跳信息，生成元數據信息來提供讀寫服務。
存儲服務器Storage Server
主要提供容量和備份服務；以 group 為單位，每個 group 內可以有多台 storage server，數據互為備份。以group為單位組織存儲能方便的進行應用隔離、負載均衡、副本數定制（group內storage server數量即為該group的副本數），比如將不同應用數據存到不同的group就能隔離應用數據，同時還可根據應用的訪問特性來將應用分配到不同的group來做負載均衡；缺點是group的容量受單機存儲容量的限制，同時當group內有機器壞掉時，數據恢復只能依賴group內地其他機器，使得恢復時間會很長。
group內每個storage的存儲依賴於本地文件系統，storage可配置多個數據存儲目錄，比如有10塊磁盤，分別掛載在/data/disk1-/data/disk10，則可將這10個目錄都配置為storage的數據存儲目錄。storage接受到寫文件請求時，會根據配置好的規則選擇其中一個存儲目錄來存儲文件。為了避免單個目錄下的文件數太多，在storage第一次啟動時，會在每個數據存儲目錄里創建2級子目錄，每級256個，總共65536個文件，新寫的文件會以hash的方式被路由到其中某個子目錄下，然后將文件數據作為本地文件存儲到該目錄中。
客戶端Client
主要是上傳下載數據的服務器，也就是我們自己的項目所部署在的服務器。每個客戶端服務器都需要安裝Nginx
基本架構如下圖所示。
FastDFS的存儲策略
為了支持大容量，存儲節點（服務器）采用了分卷（或分組）的組織方式。存儲系統由一個或多個卷組成，卷與卷之間的文件是相互獨立的，所有卷的文件容量累加就是整個存儲系統中的文件容量。一個卷可以由一台或多台存儲服務器組成，一個卷下的存儲服務器中的文件都是相同的，卷中的多台存儲服務器起到了冗余備份和負載均衡的作用。
在卷中增加服務器時，同步已有的文件由系統自動完成，同步完成后，系統自動將新增服務器切換到線上提供服務。當存儲空間不足或即將耗盡時，可以動態添加卷。只需要增加一台或多台服務器，並將它們配置為一個新的卷，這樣就擴大了存儲系統的容量。
FastDFS的上傳過程
FastDFS向使用者提供基本文件訪問接口，比如upload、download、append、delete等，以客戶端庫的方式提供給用戶使用。
Storage Server會定期的向Tracker Server發送自己的存儲信息。當Tracker Server Cluster中的Tracker Server不止一個時，各個Tracker之間的關系是對等的，所以客戶端上傳時可以選擇任意一個Tracker。
當Tracker收到客戶端上傳文件的請求時，會為該文件分配一個可以存儲文件的group，當選定了group后就要決定給客戶端分配group中的哪一個storage server。當分配好storage server后，客戶端向storage發送寫文件請求，storage將會為文件分配一個數據存儲目錄。然后為文件分配一個fileid，最后根據以上的信息生成文件名存儲文件。文件名的格式如下：
FastDFS的文件同步
寫文件時，客戶端將文件寫至group內一個storage server即認為寫文件成功，storage server寫完文件后，會由后台線程將文件同步至同group內其他的storage server。
每個storage寫文件后，同時會寫一份binlog，binlog里不包含文件數據，只包含文件名等元信息，這份binlog用於后台同步，storage會記錄向group內其他storage同步的進度，以便重啟后能接上次的進度繼續同步；進度以時間戳的方式進行記錄，所以最好能保證集群內所有server的時鍾保持同步。
storage的同步進度會作為元數據的一部分匯報到tracker上，tracke在選擇讀storage的時候會以同步進度作為參考。
客戶端上傳文件后存儲與服務器將文件ID返回給客戶端，此文件ID用於以后訪問該文件的索引信息。文件索引信息包括：組名，虛擬磁盤路徑，數據兩級目錄，文件名。
路徑格式：
FastDFS的文件下載
客戶端uploadfile成功后，會拿到一個storage生成的文件名，接下來客戶端根據這個文件名即可訪問到該文件。
跟upload file一樣，在downloadfile時客戶端可以選擇任意tracker server。tracker發送download請求給某個tracker，必須帶上文件名信息，tracke從文件名中解析出文件的group、大小、創建時間等信息，然后為該請求選擇一個storage用來服務讀請求。
FastDFS性能方案
三、Centos下部署FastDFS分布式存儲操作記錄
1）服務器信息（centos6.9）
描述 ip地址 主機名稱 分組 跟蹤服務器1 192.168.10.200 Fastdfs_tracker_t1 跟蹤服務器2 192.168.10.201 Fastdfs_tracker_t2 存儲服務器1 192.168.10.202 Fastdfs_storage_s1 group1 存儲服務器2 192.168.10.203 Fastdfs_storage_s2 group2 存儲服務器3 192.168.10.204 Fastdfs_storage_s3 group3 客戶機1 192.168.10.205 Fastdfs_client
2）FastDFS安裝（所有tracker服務器、storage服務器、客戶端機器都要有如下操作。這里以Fastdfs_tracker_t1服務器操作為例）
1）編譯和安裝所需的依賴包 [root@Fastdfs_tracker_t1 ~]# yum install make cmake gcc gcc-c++ 2）安裝libfastcommon [root@Fastdfs_tracker_t1 ~]# cd /usr/local/src/ [root@Fastdfs_tracker_t1 src]# wget https://codeload.github.com/happyfish100/libfastcommon/tar.gz/V1.0.7 -O libfastcommon-1.0.7.tar.gz [root@Fastdfs_tracker_t1 src]# tar zxf libfastcommon-1.0.7.tar.gz [root@Fastdfs_tracker_t1 src]# cd libfastcommon-1.0.7 [root@Fastdfs_tracker_t1 libfastcommon-1.0.7]# ./make.sh [root@Fastdfs_tracker_t1 libfastcommon-1.0.7]# ./make.sh install libfastcommon 默認安裝到了/usr/lib64/libfastcommon.so和/usr/lib64/libfdfsclient.so 因為FastDFS主程序設置的lib目錄是/usr/local/lib，所以需要創建軟鏈接 [root@Fastdfs_tracker_t1 libfastcommon-1.0.7]# ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so [root@Fastdfs_tracker_t1 libfastcommon-1.0.7]# ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so [root@Fastdfs_tracker_t1 libfastcommon-1.0.7]# ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so [root@Fastdfs_tracker_t1 libfastcommon-1.0.7]# ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so 3）安裝FastDFS 先提前安裝依賴 [root@Fastdfs_tracker_t1 ~]# yum install gettext gettext-devel libXft libXft-devel libXpm libXpm-devel autoconf libxtst-devel zlib-devel libpng-devel glib-devel [root@Fastdfs_tracker_t1 ~]# cd /usr/local/src/ [root@Fastdfs_tracker_t1 src]# wget https://github.s3.amazonaws.com/downloads/libevent/libevent/libevent-2.0.20-stable.tar.gz [root@Fastdfs_tracker_t1 src]# tar -zvxf libevent-2.0.20-stable.tar.gz [root@Fastdfs_tracker_t1 src]# cd libevent-2.0.20-stable [root@Fastdfs_tracker_t1 libevent-2.0.20-stable]# ./configure && make && make install 接着編譯安裝FastDFS（編譯前要確保已經成功安裝了 libfastcommon）。百度雲盤下載：https://pan.baidu.com/s/1x_CTcRqZr_BTptXF9kHOng 提取密碼：9ku2 [root@Fastdfs_tracker_t1 src]# pwd /usr/local/src [root@Fastdfs_tracker_t1 src]# ls FastDFS_v5.05.tar.gz FastDFS_v5.05.tar.gz [root@Fastdfs_tracker_t1 src]# tar -zvxf FastDFS_v5.05.tar.gz [root@Fastdfs_tracker_t1 src]# cd FastDFS [root@Fastdfs_tracker_t1 FastDFS]# ./make.sh [root@Fastdfs_tracker_t1 FastDFS]# ./make.sh install 采用默認安裝的方式安裝,安裝后的相應文件與目錄： 服務腳本在： /etc/init.d/fdfs_storaged /etc/init.d/fdfs_trackerd 配置文件在（樣例配置文件）: /etc/fdfs/client.conf.sample /etc/fdfs/storage.conf.sample /etc/fdfs/tracker.conf.sample 命令工具在/usr/bin/目錄下的： fdfs_appender_test fdfs_appender_test1 fdfs_append_file fdfs_crc32 fdfs_delete_file fdfs_download_file fdfs_file_info fdfs_monitor fdfs_storaged fdfs_test fdfs_test1 fdfs_trackerd fdfs_upload_appender fdfs_upload_file stop.sh restart.sh 因為FastDFS服務腳本設置的bin目錄是/usr/local/bin，但實際命令安裝在/usr/bin，可以進入/user/bin 目錄使用以下命令查看 fdfs 的相關命令： [root@Fastdfs_tracker_t1 ~]# cd /usr/bin/ [root@Fastdfs_tracker_t1 bin]# ls | grep fdfs 因此需要修改FastDFS服務腳本中相應的命令路徑，也就是把/etc/init.d/fdfs_storaged和/etc/init.d/fdfs_trackerd 兩個腳本中的/usr/local/bin修改成/usr/bin： [root@Fastdfs_tracker_t1 bin]# vim /etc/init.d/fdfs_trackerd 使用查找替換命令進統一修改：:%s+/usr/local/bin+/usr/bin [root@Fastdfs_tracker_t1 bin]# vim /etc/init.d/fdfs_storaged 使用查找替換命令進統一修改：:%s+/usr/local/bin+/usr/bin
3）配置FastDFS跟蹤器Tracker（兩台機器Fastdfs_tracker_t1和Fastdfs_tracker_t2都需要操作）
1）復制 FastDFS 跟蹤器樣例配置文件,並重命名 [root@Fastdfs_tracker_t1 ~]# cd /etc/fdfs/ [root@Fastdfs_tracker_t1 fdfs]# cp tracker.conf.sample tracker.conf 2）編輯跟蹤器配置文件 [root@Fastdfs_tracker_t1 fdfs]# vim /etc/fdfs/tracker.conf // 修改的內容如下（其它參數保留默認配置） ...... disabled=false //啟用配置文件 port=22122 //tracker 的端口號，一般采用 22122 這個默認端口 base_path=/fastdfs/tracker //tracker 的數據文件和日志目錄 # the method of selecting group to upload files # 0: round robin # 1: specify group # 2: load balance, select the max free space group to upload file store_lookup=0 //采取輪巡方式選擇要上傳的組進行存儲，默認2 選擇最大空閑空間的組 3）創建基礎數據目錄（參考基礎目錄 base_path 配置） [root@Fastdfs_tracker_t1 fdfs]# mkdir -p /fastdfs/tracker 4）關閉iptables防火牆 [root@Fastdfs_tracker_t1 fdfs]# /etc/init.d/iptables stop ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ 溫馨提示： 如果iptables防火牆中開啟的話，則需要打開跟蹤器端口（默認為 22122） [root@Fastdfs_tracker_t1 fdfs]# vim /etc/sysconfig/iptables ## FastDFS Tracker Port -A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT [root@Fastdfs_tracker_t1 fdfs]# service iptables restart ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ 5）啟動Tracker服務 [root@Fastdfs_tracker_t1 fdfs]# /etc/init.d/fdfs_trackerd start Starting FastDFS tracker server: 初次成功啟動，會在/fastdfs/tracker 目錄下創建 data、logs 兩個目錄；可以查看tracker是否啟動成功: [root@Fastdfs_tracker_t1 fdfs]# ls /fastdfs/tracker/ data logs [root@Fastdfs_tracker_t1 fdfs]# netstat -unltp|grep fdfs tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN 10469/fdfs_trackerd [root@Fastdfs_tracker_t1 fdfs]# lsof -i:22122 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME fdfs_trac 10469 root 5u IPv4 214098 0t0 TCP *:22122 (LISTEN) [root@Fastdfs_tracker_t1 fdfs]# tail -100f /fastdfs/tracker/logs/trackerd.log 關閉Tracker [root@Fastdfs_tracker_t2 fdfs]# /etc/init.d/fdfs_trackerd stop 設置FastDFS跟蹤器開機啟動 [root@Fastdfs_tracker_t1 fdfs]# chkconfig fdfs_trackerd on [root@Fastdfs_tracker_t1 fdfs]# chkconfig --list|grep fdfs_trackerd fdfs_trackerd 0:off 1:off 2:on 3:on 4:on 5:on 6:off [root@Fastdfs_tracker_t1 fdfs]# vim /etc/rc.d/rc.local [root@Fastdfs_tracker_t1 fdfs]# cat /etc/rc.d/rc.local ....... /etc/init.d/fdfs_trackerd start
4）配置FastDFS存儲服務（三台機器Fastdfs_storage_s1、Fastdfs_storage_s2、Fastdfs_storage_s3都需要操作）
1）復制FastDFS存儲器樣例配置文件,並重命名。
[root@Fastdfs_storage_s1 FastDFS]# cd /etc/fdfs/
[root@Fastdfs_storage_s1 fdfs]# cp storage.conf.sample storage.conf
[root@Fastdfs_storage_s1 fdfs]# vim /etc/fdfs/storage.conf //修改的內容如下（其它參數保留默認配置）:
.......
disabled=false //啟用配置文件
group_name=group1 //組名（第一組為 group1，第二組為 group2）
port=23000 //storage 的端口號,同一個組的 storage 端口號必須相同
base_path=/fastdfs/storage //設置 storage 的日志目錄
store_path0=/fastdfs/storage //存儲路徑
store_path_count=1 //存儲路徑個數，需要和 store_path 個數匹配
tracker_server=192.168.10.200:22122 //tracker 服務器的 IP 地址和端口
tracker_server=192.168.1.201:22122 //多個 tracker 直接添加多條配置
http.server_port=8888 //設置 http 端口號
2）創建基礎數據目錄（參考基礎目錄 base_path 配置）
[root@Fastdfs_storage_s1 fdfs]# mkdir -p /fastdfs/storage
4）關閉iptables防火牆
[root@Fastdfs_storage_s1 fdfs]# /etc/init.d/iptables stop
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
溫馨提示：
如果iptables防火牆中開啟的話，則需要打開23000端口
[root@Fastdfs_tracker_t1 fdfs]# vim /etc/sysconfig/iptables
## FastDFS Tracker Port
-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT
[root@Fastdfs_storage_s1 fdfs]# service iptables restart
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
5）啟動 Storage
[root@Fastdfs_storage_s1 fdfs]# /etc/init.d/fdfs_storaged start
Starting FastDFS storage server:
初次成功啟動，會在/fastdfs/storage 目錄下創建數據目錄 data 和日志目錄 logs）各節點啟動動，
使用 tail -f /fastdfs/storage/logs/storaged.log 命令監聽存儲節點日志，可以看到存儲節點鏈接到跟蹤器，
並提示哪一個為 leader 跟蹤器。同時也會看到同一組中的其他節點加入進來的日志信息。
查看23000端口監聽情況：
[root@Fastdfs_storage_s1 fdfs]# netstat -unltp|grep fdfs
tcp 0 0 0.0.0.0:23000 0.0.0.0:* LISTEN 28347/fdfs_storaged
[root@Fastdfs_storage_s1 fdfs]# lsof -i:23000
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
fdfs_stor 28347 root 5u IPv4 211801 0t0 TCP *:inovaport1 (LISTEN)
[root@Fastdfs_storage_s1 fdfs]# tail -f /fastdfs/storage/logs/storaged.log
mkdir data path: FD ...
mkdir data path: FE ...
mkdir data path: FF ...
data path: /fastdfs/storage/data, mkdir sub dir done.
[2018-02-26 14:27:46] INFO - file: storage_param_getter.c, line: 191, use_storage_id=0, id_type_in_filename=ip, storage_ip_changed_auto_adjust=1, store_path=0, reserved_storage_space=10.00%, use_trunk_file=0, slot_min_size=256, slot_max_size=16 MB, trunk_file_size=64 MB, trunk_create_file_advance=0, trunk_create_file_time_base=02:00, trunk_create_file_interval=86400, trunk_create_file_space_threshold=20 GB, trunk_init_check_occupying=0, trunk_init_reload_from_binlog=0, trunk_compress_binlog_min_interval=0, store_slave_file_use_link=0
[2018-02-26 14:27:46] INFO - file: storage_func.c, line: 254, tracker_client_ip: 192.168.10.202, my_server_id_str: 192.168.10.202, g_server_id_in_filename: -905271104
[2018-02-26 14:27:51] INFO - local_host_ip_count: 2, 127.0.0.1 192.168.10.202
[2018-02-26 14:27:51] INFO - file: tracker_client_thread.c, line: 310, successfully connect to tracker server 192.168.10.201:22122, as a tracker client, my ip is 192.168.10.202
[2018-02-26 14:27:51] INFO - file: tracker_client_thread.c, line: 1235, tracker server 192.168.10.201:22122, set tracker leader: 192.168.10.201:22122
[2018-02-26 14:27:52] INFO - file: tracker_client_thread.c, line: 310, successfully connect to tracker server 192.168.10.200:22122, as a tracker client, my ip is 192.168.10.202
.......
關閉storage
[root@Fastdfs_storage_s1 fdfs]# /etc/init.d/fdfs_storaged stop
設置storage開機啟動
[root@Fastdfs_storage_s1 fdfs]# chkconfig fdfs_storaged on
[root@Fastdfs_storage_s1 fdfs]# chkconfig --list|grep fdfs_storaged
fdfs_storaged 0:off 1:off 2:on 3:on 4:on 5:on 6:off
[root@Fastdfs_storage_s1 fdfs]# vim /etc/rc.d/rc.local
......
/etc/init.d/fdfs_storaged start
所有Storage節點都啟動之后，可以在任一 Storage 節點上使用如下命令查看集群信息：
[root@Fastdfs_storage_s1 fdfs]# /usr/bin/fdfs_monitor /etc/fdfs/storage.conf
[2018-02-26 14:30:22] DEBUG - base_path=/fastdfs/storage, connect_timeout=30, network_timeout=60, tracker_server_count=2, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0
server_count=2, server_index=0
tracker server is 192.168.10.200:22122
group count: 3
Group 1:
group name = group1
disk total space = 50268 MB
disk free space = 45029 MB
trunk free space = 0 MB
storage server count = 1
active server count = 1
storage server port = 23000
storage HTTP port = 8888
store path count = 1
subdir count per path = 256
current write server index = 0
current trunk file id = 0
Storage 1:
id = 192.168.10.202
ip_addr = 192.168.10.202 ACTIVE
http domain =
version = 5.05
join time = 2018-02-26 14:27:07
up time = 2018-02-26 14:27:07
total storage = 50268 MB
free storage = 45029 MB
upload priority = 10
store_path_count = 1
subdir_count_per_path = 256
storage_port = 23000
storage_http_port = 8888
current_write_path = 0
source storage id =
if_trunk_server = 0
connection.alloc_count = 256
connection.current_count = 0
connection.max_count = 0
total_upload_count = 0
success_upload_count = 0
total_append_count = 0
success_append_count = 0
total_modify_count = 0
success_modify_count = 0
total_truncate_count = 0
success_truncate_count = 0
total_set_meta_count = 0
success_set_meta_count = 0
total_delete_count = 0
success_delete_count = 0
total_download_count = 0
success_download_count = 0
total_get_meta_count = 0
success_get_meta_count = 0
total_create_link_count = 0
success_create_link_count = 0
total_delete_link_count = 0
success_delete_link_count = 0
total_upload_bytes = 0
success_upload_bytes = 0
total_append_bytes = 0
success_append_bytes = 0
total_modify_bytes = 0
success_modify_bytes = 0
stotal_download_bytes = 0
success_download_bytes = 0
total_sync_in_bytes = 0
success_sync_in_bytes = 0
total_sync_out_bytes = 0
success_sync_out_bytes = 0
total_file_open_count = 0
success_file_open_count = 0
total_file_read_count = 0
success_file_read_count = 0
total_file_write_count = 0
success_file_write_count = 0
last_heart_beat_time = 2018-02-26 14:29:52
last_source_update = 1970-01-01 08:00:00
last_sync_update = 1970-01-01 08:00:00
last_synced_timestamp = 1970-01-01 08:00:00
Group 2:
group name = group2
disk total space = 49086 MB
disk free space = 44696 MB
trunk free space = 0 MB
storage server count = 1
active server count = 1
storage server port = 23000
storage HTTP port = 8888
store path count = 1
subdir count per path = 256
current write server index = 0
current trunk file id = 0
Storage 1:
id = 192.168.10.203
ip_addr = 192.168.10.203 ACTIVE
http domain =
version = 5.05
join time = 2018-02-26 14:27:09
up time = 2018-02-26 14:27:09
total storage = 49086 MB
free storage = 44696 MB
upload priority = 10
store_path_count = 1
subdir_count_per_path = 256
storage_port = 23000
storage_http_port = 8888
current_write_path = 0
source storage id =
if_trunk_server = 0
connection.alloc_count = 256
connection.current_count = 0
connection.max_count = 0
total_upload_count = 0
success_upload_count = 0
total_append_count = 0
success_append_count = 0
total_modify_count = 0
success_modify_count = 0
total_truncate_count = 0
success_truncate_count = 0
total_set_meta_count = 0
success_set_meta_count = 0
total_delete_count = 0
success_delete_count = 0
total_download_count = 0
success_download_count = 0
total_get_meta_count = 0
success_get_meta_count = 0
total_create_link_count = 0
success_create_link_count = 0
total_delete_link_count = 0
success_delete_link_count = 0
total_upload_bytes = 0
success_upload_bytes = 0
total_append_bytes = 0
success_append_bytes = 0
total_modify_bytes = 0
success_modify_bytes = 0
stotal_download_bytes = 0
success_download_bytes = 0
total_sync_in_bytes = 0
success_sync_in_bytes = 0
total_sync_out_bytes = 0
success_sync_out_bytes = 0
total_file_open_count = 0
success_file_open_count = 0
total_file_read_count = 0
success_file_read_count = 0
total_file_write_count = 0
success_file_write_count = 0
last_heart_beat_time = 2018-02-26 14:30:15
last_source_update = 1970-01-01 08:00:00
last_sync_update = 1970-01-01 08:00:00
last_synced_timestamp = 1970-01-01 08:00:00
Group 3:
group name = group3
disk total space = 49086 MB
disk free space = 44962 MB
trunk free space = 0 MB
storage server count = 1
active server count = 1
storage server port = 23000
storage HTTP port = 8888
store path count = 1
subdir count per path = 256
current write server index = 0
current trunk file id = 0
Storage 1:
id = 192.168.10.204
ip_addr = 192.168.10.204 ACTIVE
http domain =
version = 5.05
join time = 2018-02-26 14:27:10
up time = 2018-02-26 14:27:10
total storage = 49086 MB
free storage = 44962 MB
upload priority = 10
store_path_count = 1
subdir_count_per_path = 256
storage_port = 23000
storage_http_port = 8888
current_write_path = 0
source storage id =
if_trunk_server = 0
connection.alloc_count = 256
connection.current_count = 0
connection.max_count = 0
total_upload_count = 0
success_upload_count = 0
total_append_count = 0
success_append_count = 0
total_modify_count = 0
success_modify_count = 0
total_truncate_count = 0
success_truncate_count = 0
total_set_meta_count = 0
success_set_meta_count = 0
total_delete_count = 0
success_delete_count = 0
total_download_count = 0
success_download_count = 0
total_get_meta_count = 0
success_get_meta_count = 0
total_create_link_count = 0
success_create_link_count = 0
total_delete_link_count = 0
success_delete_link_count = 0
total_upload_bytes = 0
success_upload_bytes = 0
total_append_bytes = 0
success_append_bytes = 0
total_modify_bytes = 0
success_modify_bytes = 0
stotal_download_bytes = 0
success_download_bytes = 0
total_sync_in_bytes = 0
success_sync_in_bytes = 0
total_sync_out_bytes = 0
success_sync_out_bytes = 0
total_file_open_count = 0
success_file_open_count = 0
total_file_read_count = 0
success_file_read_count = 0
total_file_write_count = 0
success_file_write_count = 0
last_heart_beat_time = 2018-02-26 14:29:55
last_source_update = 1970-01-01 08:00:00
last_sync_update = 1970-01-01 08:00:00
last_synced_timestamp = 1970-01-01 08:00:00
5）文件上傳測試（在客戶機192.168.10.205上測試即可，也可以直接在Fastdfs_tracker服務器如192.168.10.200上測試，只要在安裝fastdfs_client機器上測試就行）
1）修改客戶端配置文件 [root@Fastdfs_client ~]# cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf [root@Fastdfs_client ~]# vim /etc/fdfs/client.conf //修改的內容如下（其它參數保留默認配置）: ...... base_path=/fastdfs/tracker tracker_server=192.168.10.200:22122 tracker_server=192.168.10.201:22122 2）創建基礎數據目錄（參考基礎目錄 base_path 配置） [root@Fastdfs_client ~]# mkdir -p /fastdfs/tracker 3）上傳（可以通過Xftp5上傳）一張圖片（比如test.png）到客戶機192.168.10.205目錄/usr/local/src/，用作上傳測試 [root@Fastdfs_client src]# pwd /usr/local/src [root@Fastdfs_client src]# ll test.png -rw-r--r--. 1 root root 165712 Feb 26 14:53 test.png 然后使用FastDFS上傳命令，將測試圖片上傳到FastDFS存儲里。 [root@Fastdfs_client src]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/test.png group1/M00/00/00/wKgKylqTsFCAdeEuAAKHUIZ3K9s287.png 如上能返回文件ID號，說明上傳成功。由返回的信息可知，test.png圖片被上傳到group1下的數據目錄下了。 到group1組內機器（即Fastdfs_storage_s1）的數據目錄下可找到剛才上傳的文件： [root@Fastdfs_storage_s1 ~]# ll /fastdfs/storage/data/00/00/ total 164 -rw-r--r--. 1 root root 165712 Feb 26 14:59 wKgKylqTsFCAdeEuAAKHUIZ3K9s287.png 同理，再上傳一張圖片進行測試 [root@Fastdfs_client ~]# cd /usr/local/src/ [root@Fastdfs_client src]# ll haha.png -rw-r--r--. 1 root root 12331 Feb 26 16:40 haha.png [root@Fastdfs_client src]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/haha.png group2/M00/00/00/wKgKy1qTyCKAFGzSAAAwK2jUNaY428.png 即haha.png圖片被上傳到group2組內機器的數據目錄下了 [root@Fastdfs_storage_s2 ~]# ll /fastdfs/storage/data/00/00/ total 16 -rw-r--r--. 1 root root 12331 Feb 26 16:41 wKgKy1qTyCKAFGzSAAAwK2jUNaY428.png 再上傳一次 [root@Fastdfs_client src]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/haha.png group3/M00/00/00/wKgKzFqTyRaAeDLJAAAwK2jUNaY992.png [root@Fastdfs_storage_s3 ~]# ll /fastdfs/storage/data/00/00/ total 16 -rw-r--r--. 1 root root 12331 Feb 26 16:45 wKgKzFqTyRaAeDLJAAAwK2jUNaY992.png 這里，我測試的時候，一個group組內只有一台存儲服務器，測試圖片上傳到group內，只上傳到一台存儲服務器上了。 正常來說，應該要在同一個group組內添加2台以上的存儲服務器，這樣圖片就是被上傳到多台存儲服務器上， 那么當一台存儲服務器掛掉后，圖片還能從其他的存儲服務器上讀出來。
6）在各個存儲節點上安裝Nginx（Fastdfs_storage_s1、Fastdfs_storage_s2、Fastdfs_storage_s3）
1）fastdfs-nginx-module 作用說明
FastDFS 通過Tracker服務器,將文件放在Storage服務器存儲，但是同組存儲服務器之間需要進入文件復制，有同步延遲的問題。
假設Tracker服務器將文件上傳到了A機器上，上傳成功后文件ID已經返回給客戶端。此時FastDFS存儲集群機制會將這個文件同步到同組存儲B機器上，
在文件還沒有復制完成的情況下，客戶端如果用這個文件ID在B機器上取文件,就會出現文件無法訪問的錯誤。
而fastdfs-nginx-module可以重定向文件連接到源服務器取文件,避免客戶端由於復制延遲導致的文件無法訪問錯誤。
（解壓后的fastdfs-nginx-module在nginx安裝時使用）
2）安裝nginx前，需要配置以下依賴
[root@Fastdfs_storage_s1 ~]# yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel
3）安裝nginx和fastdfs-nginx-module
[root@Fastdfs_storage_s1 ~]# cd /usr/local/src/
[root@Fastdfs_storage_s1 src]# wget http://nginx.org/download/nginx-1.13.9.tar.gz
下載fastdfs-nginx-module地址：https://pan.baidu.com/s/1i6Jqsi5
提取密碼：g1ps
[root@Fastdfs_storage_s1 src]# ll fastdfs-nginx-module_v1.16.tar.gz
-rw-r--r--. 1 root root 17510 Feb 26 16:58 fastdfs-nginx-module_v1.16.tar.gz
[root@Fastdfs_storage_s1 src]# ls nginx-1.13.9.tar.gz
nginx-1.13.9.tar.gz
[root@Fastdfs_storage_s1 src]# tar -zvxf nginx-1.13.9.tar.gz
[root@Fastdfs_storage_s1 src]# tar -zvxf fastdfs-nginx-module_v1.16.tar.gz
[root@Fastdfs_storage_s1 src]# vim /usr/local/src/fastdfs-nginx-module/src/config
將
CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"
修改為：
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
千萬注意：這個路徑修改是很重要的，不然在 nginx 編譯的時候會報錯的！
緊接着進行nginx的編譯安裝操作
[root@Fastdfs_storage_s1 src]# cd nginx-1.13.9
[root@Fastdfs_storage_s1 nginx-1.13.9]# ./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/fastdfs-nginx-module/src
[root@Fastdfs_storage_s1 nginx-1.13.9]# make && make install
4）復制 fastdfs-nginx-module 源碼中的配置文件到/etc/fdfs 目錄，並修改
[root@Fastdfs_storage_s1 src]# cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
[root@Fastdfs_storage_s1 src]# vim /etc/fdfs/mod_fastdfs.conf
......
connect_timeout=10
base_path=/tmp
tracker_server=192.168.10.200:22122
tracker_server=192.168.10.201:22122
storage_server_port=23000
group_name=group1
url_have_group_name = true
store_path0=/fastdfs/storage
group_count = 3
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/fastdfs/storage
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/fastdfs/storage
[group3]
group_name=group3
storage_server_port=23000
store_path_count=1
store_path0=/fastdfs/storage
特別注意：
第二組內的Storage服務器（這里指Fastdfs_storage_s2）的mod_fastdfs.conf配置與第一組配置只有group_nam不同，即：
group_name=group2
第三組內的Storage服務器（這里指Fastdfs_storage_s3）的mod_fastdfs.conf 配置與第一組配置只有group_name不同，即：
group_name=group3
5）復制 FastDFS 的部分配置文件到/etc/fdfs 目錄
[root@Fastdfs_storage_s1 src]# cd /usr/local/src/FastDFS/conf
[root@Fastdfs_storage_s1 conf]# cp http.conf mime.types /etc/fdfs/
6）在/fastdfs/storage 文件存儲目錄下創建軟連接,將其鏈接到實際存放數據的目錄
[root@Fastdfs_storage_s1 conf]# ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00
7）配置 Nginx，簡潔版 nginx 配置樣例
[root@Fastdfs_storage_s1 src]# cd /usr/local/nginx/conf/
[root@Fastdfs_storage_s1 conf]# cp nginx.conf nginx.conf.bak
[root@Fastdfs_storage_s1 conf]# cat nginx.conf
user www; //如果url訪問圖片時出現404，可以將這個修改為"user root"
worker_processes 8;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
worker_connections 65535;
}
http {
include mime.types;
default_type application/octet-stream;
charset utf-8;
######
## set access log format
######
log_format main '$http_x_forwarded_for $remote_addr $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_cookie" $host $request_time';
#######
## http setting
#######
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
proxy_cache_path /var/www/cache levels=1:2 keys_zone=mycache:20m max_size=2048m inactive=60m;
proxy_temp_path /var/www/cache/tmp;
fastcgi_connect_timeout 3000;
fastcgi_send_timeout 3000;
fastcgi_read_timeout 3000;
fastcgi_buffer_size 256k;
fastcgi_buffers 8 256k;
fastcgi_busy_buffers_size 256k;
fastcgi_temp_file_write_size 256k;
fastcgi_intercept_errors on;
#
client_header_timeout 600s;
client_body_timeout 600s;
# client_max_body_size 50m;
client_max_body_size 100m; #允許客戶端請求的最大單個文件字節數
client_body_buffer_size 256k; #緩沖區代理緩沖請求的最大字節數，可以理解為先保存到本地再傳給用戶
gzip on;
gzip_min_length 1k;
gzip_buffers 4 16k;
gzip_http_version 1.1;
gzip_comp_level 9;
gzip_types text/plain application/x-javascript text/css application/xml text/javascript application/x-httpd-php;
gzip_vary on;
## includes vhosts
include vhosts/*.conf;
}
[root@Fastdfs_storage_s1 conf]# mkdir vhosts
[root@Fastdfs_storage_s1 conf]# cd vhosts/
[root@Fastdfs_storage_s1 vhosts]# vim fastdfs.conf
[root@Fastdfs_storage_s1 vhosts]# cat fastdfs.conf
server {
listen 8888;
server_name localhost;
location /group1/M00 { //注意，Fastdfs_storage_s2機器內此處修改為/group2/M00,Fastdfs_storage_s3機器內此處修改為/group3/M00
#alias /fastdfs/storage/data;
ngx_fastdfs_module;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
[root@Fastdfs_storage_s1 vhosts]#useradd www
[root@Fastdfs_storage_s1 vhosts]# mkdir -p /var/www/cache
[root@Fastdfs_storage_s1 vhosts]# /usr/local/nginx/sbin/nginx -t
[root@Fastdfs_storage_s1 vhosts]# /usr/local/nginx/sbin/nginx
[root@Fastdfs_storage_s1 vhosts]# /usr/local/nginx/sbin/nginx -s reload
[root@Fastdfs_storage_s1 vhosts]# lsof -i:8888
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
nginx 31543 root 10u IPv4 218910 0t0 TCP *:ddi-tcp-1 (LISTEN)
nginx 31617 www 10u IPv4 218910 0t0 TCP *:ddi-tcp-1 (LISTEN)
nginx 31618 www 10u IPv4 218910 0t0 TCP *:ddi-tcp-1 (LISTEN)
nginx 31619 www 10u IPv4 218910 0t0 TCP *:ddi-tcp-1 (LISTEN)
nginx 31620 www 10u IPv4 218910 0t0 TCP *:ddi-tcp-1 (LISTEN)
nginx 31621 www 10u IPv4 218910 0t0 TCP *:ddi-tcp-1 (LISTEN)
nginx 31622 www 10u IPv4 218910 0t0 TCP *:ddi-tcp-1 (LISTEN)
nginx 31623 www 10u IPv4 218910 0t0 TCP *:ddi-tcp-1 (LISTEN)
nginx 31624 www 10u IPv4 218910 0t0 TCP *:ddi-tcp-1 (LISTEN)
+++++++++++++++++++++++++++++++++++++++++++特別注意++++++++++++++++++++++++++++++++++++++++++++++++++
A、8888 端口值是要與/etc/fdfs/storage.conf 中的 http.server_port=8888 相對應，
因為 http.server_port 默認為 8888,如果想改成 80，則要對應修改過來。
B、Storage 對應有多個 group 的情況下，訪問路徑帶 group 名，如/group1/M00/00/00/xxx，
對應的 Nginx 配置為：
location ~/group([0-9])/M00 {
ngx_fastdfs_module;
}
C、如查下載時如發現老報 404，將 nginx.conf 第一行 user www 修改為 user root 后重新啟動！這個要特別注意！！！！！
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
8）設置Nginx開機啟動
[root@Fastdfs_storage_s1 ~]# vim /etc/rc.d/rc.local
........
/usr/local/nginx/sbin/nginx
9）關閉iptables防火牆
[root@Fastdfs_storage_s1 conf]# /etc/init.d/iptables stop
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
溫馨提示：
如果打開了iptables防火牆功能，則需要開通8888端口訪問
[root@Fastdfs_storage_s1 ~]# vim /etc/sysconfig/iptables
## FastDFS Tracker Port
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT
[root@Fastdfs_storage_s1 ~]# service iptables restart
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
10）通過瀏覽器訪問測試時上傳的文件（對應上傳到FastDFS存儲里的路徑）
在客戶端機器上傳圖片
[root@Fastdfs_client src]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/haha.png
group1/M00/00/00/wKgKylqT3OCAUrqYAAAwK2jUNaY262.png
[root@Fastdfs_client src]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/test.png
group2/M00/00/00/wKgKy1qT3P-Ae-vQAAKHUIZ3K9s459.png
[root@Fastdfs_client src]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/test.png
group3/M00/00/00/wKgKzFqT3SWAaunZAAKHUIZ3K9s849.png
然后訪問圖片的url
http://192.168.10.202:8888/group1/M00/00/00/wKgKylqT3OCAUrqYAAAwK2jUNaY262.png
http://192.168.10.203:8888/group2/M00/00/00/wKgKy1qT3P-Ae-vQAAKHUIZ3K9s459.png
http://192.168.10.204:8888/group3/M00/00/00/wKgKzFqT3SWAaunZAAKHUIZ3K9s849.png
7）在各個跟蹤節點服務器上安裝Nginx（Fastdfs_tracker_t1、Fastdfs_tracker_t2）
在tracker上安裝的nginx主要為了提供 http 訪問的反向代理、負載均衡以及緩存服務
1）安裝編譯 Nginx 所需的依賴包
[root@Fastdfs_tracker_t1 ~]# yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel
2）上傳 ngx_cache_purge-2.3.tar.gz和nginx-1.13.9.tar.gz到/usr/local/src，解壓
[root@Fastdfs_tracker_t1 ~]# cd /usr/local/src/
[root@Fastdfs_tracker_t1 src]# wget http://labs.frickle.com/files/ngx_cache_purge-2.3.tar.gz
[root@Fastdfs_tracker_t1 src]# wget http://nginx.org/download/nginx-1.13.9.tar.gz
[root@Fastdfs_tracker_t1 src]# tar -zvxf ngx_cache_purge-2.3.tar.gz
[root@Fastdfs_tracker_t1 src]# tar -zvxf nginx-1.13.9.tar.gz
[root@Fastdfs_tracker_t1 src]# cd nginx-1.13.9
[root@Fastdfs_tracker_t1 nginx-1.13.9]# ./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/ngx_cache_purge-2.3 && make && make install
3）配置 Nginx，設置負載均衡以及緩存
[root@Fastdfs_tracker_t1 conf]# cp nginx.conf nginx.conf.conf
[root@Fastdfs_tracker_t1 conf]# cat nginx.conf
user www;
worker_processes 8;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
worker_connections 65535;
}
http {
include mime.types;
default_type application/octet-stream;
charset utf-8;
######
## set access log format
######
log_format main '$http_x_forwarded_for $remote_addr $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_cookie" $host $request_time';
#######
## http setting
#######
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
proxy_cache_path /fastdfs/cache/nginx/proxy_cache levels=1:2 keys_zone=mycache:20m max_size=2048m inactive=60m;
proxy_temp_path /fastdfs/cache/nginx/proxy_cache/tmp;
fastcgi_connect_timeout 3000;
fastcgi_send_timeout 3000;
fastcgi_read_timeout 3000;
fastcgi_buffer_size 256k;
fastcgi_buffers 8 256k;
fastcgi_busy_buffers_size 256k;
fastcgi_temp_file_write_size 256k;
fastcgi_intercept_errors on;
#
client_header_timeout 600s;
client_body_timeout 600s;
# client_max_body_size 50m;
client_max_body_size 100m;
client_body_buffer_size 256k;
gzip on;
gzip_min_length 1k;
gzip_buffers 4 16k;
gzip_http_version 1.1;
gzip_comp_level 9;
gzip_types text/plain application/x-javascript text/css application/xml text/javascript application/x-httpd-php;
gzip_vary on;
## includes vhosts
include vhosts/*.conf;
}
[root@Fastdfs_tracker_t1 conf]# mkdir vhosts
[root@Fastdfs_tracker_t1 vhosts]# cat lb.conf //如果group組內有多個存儲服務器，則這里的負載就起作用了。
upstream fdfs_group1 {
server 192.168.10.202:8888 weight=1 max_fails=2 fail_timeout=30s;
}
upstream fdfs_group2 {
server 192.168.10.203:8888 weight=1 max_fails=2 fail_timeout=30s;
}
upstream fdfs_group3 {
server 192.168.10.204:8888 weight=1 max_fails=2 fail_timeout=30s;
}
server{
listen 8000;
server_name localhost;
access_log /usr/local/nginx/logs/lb_access.log main;
error_log /usr/local/nginx/logs/lb_error.log;
location /group1/M00 {
proxy_pass http://fdfs_group1;
}
location /group2/M00 {
proxy_pass http://fdfs_group2;
}
location /group3/M00 {
proxy_pass http://fdfs_group3;
}
#設置清除緩存的訪問權限
location ~/purge(/.*) {
allow 127.0.0.1;
allow 114.242.193.201;
allow 192.168.10.0/24;
deny all;
proxy_cache_purge mycache $host$1$is_args$args ;
}
}
按以上 nginx 配置文件的要求，創建對應的緩存目錄
[root@Fastdfs_tracker_t1 conf]# useradd www
[root@Fastdfs_tracker_t1 conf]# ulimit 65535
[root@Fastdfs_tracker_t1 conf]# mkdir -p /fastdfs/cache/nginx/proxy_cache
[root@Fastdfs_tracker_t1 conf]# mkdir -p /fastdfs/cache/nginx/proxy_cache/tmp
[root@Fastdfs_tracker_t1 conf]# /usr/local/nginx/sbin/nginx -t
[root@Fastdfs_tracker_t1 conf]# /usr/local/nginx/sbin/nginx
[root@Fastdfs_tracker_t1 conf]# /usr/local/nginx/sbin/nginx -s reload
4）關閉iptables防火牆
[root@Fastdfs_tracker_t1 conf]# /etc/init.d/iptables stop
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
溫馨提示：
如果iptables防火牆中開啟的話，則需要打開8000端口
[root@Fastdfs_tracker_t1 fdfs]# vim /etc/sysconfig/iptables
## FastDFS Tracker Port
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8000 -j ACCEPT
[root@Fastdfs_tracker_t1 conf]# service iptables restart
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
5）設置Nginx開機啟動
[root@Fastdfs_storage_s1 ~]# vim /etc/rc.d/rc.local
........
/usr/local/nginx/sbin/nginx
6）文件訪問測試
在客戶端機器上傳圖片（或使用上面測試中已經上傳過的圖片路徑進行訪問測試）
[root@Fastdfs_client src]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/test.jpg
group1/M00/00/00/wKgKylqUxBOAFo8hAAKHUIZ3K9s443.jpg
[root@Fastdfs_client src]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/haha.png
group2/M00/00/00/wKgKy1qUxBeAT0PxAAAwK2jUNaY575.png
[root@Fastdfs_client src]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/test.jpg
group3/M00/00/00/wKgKzFqUxBmATFurAAKHUIZ3K9s282.jpg
然后訪問圖片的url
http://192.168.10.200:8000/group1/M00/00/00/wKgKylqUxBOAFo8hAAKHUIZ3K9s443.jpg
http://192.168.10.201:8000/group1/M00/00/00/wKgKylqUxBOAFo8hAAKHUIZ3K9s443.jpg
http://192.168.10.200:8000/group2/M00/00/00/wKgKy1qUxBeAT0PxAAAwK2jUNaY575.png
http://192.168.10.201:8000/group2/M00/00/00/wKgKy1qUxBeAT0PxAAAwK2jUNaY575.png
http://192.168.10.200:8000/group3/M00/00/00/wKgKzFqUxBmATFurAAKHUIZ3K9s282.jpg
http://192.168.10.201:8000/group3/M00/00/00/wKgKzFqUxBmATFurAAKHUIZ3K9s282.jpg
以上是簡單配置，多次測試可以發現，每一個Tracker中的 Nginx都單獨對后端的Storage存儲服務器組做了負載均衡，
但整套FastDFS 集群如果想對外提供統一的文件訪問地址，還需要對兩個Tracker中的Nginx進行HA集群。
即對Fastdfs_tracker_t1（192.168.10.200）和Fastdfs_tracker_t2（192.168.10.201）做keepalived+nginx的高可用。
192.168.10.200 Master
192.168.10.201 Slave
192.168.10.210 VIP
也就是說整套FastDFS 集群對外提供統一的文件訪問(VIP)地址192.168.10.210.
Keepalived+Nginx 主從部署記錄可以參考：http://www.cnblogs.com/kevingrace/p/6138185.html，部署記錄這里就不介紹了
8）fdfs常用命令
1）上傳文件命令：fdfs_upload_file
不僅可以上傳圖片文件，也可以上傳其他文件。
[root@Fastdfs_client src]# echo "hahaha" > test.txt
[root@Fastdfs_client src]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/test.txt
group3/M00/00/00/wKgKzFqUyiqAabn8AAAAB-kMomQ229.txt
上傳成功后，返回一串帶有組和路徑標識的字符串，這是文件的id，然后到group3組內的存儲服務器上查看這個文件的id信息
[root@Fastdfs_storage_s3 ~]# ll /fastdfs/storage/data/00/00/
total 84
-rw-r--r--. 1 root root 7 Feb 27 11:02 wKgKzFqUyiqAabn8AAAAB-kMomQ229.txt
[root@Fastdfs_storage_s3 ~]# cat /fastdfs/storage/data/00/00/wKgKzFqUyiqAabn8AAAAB-kMomQ229.txt
hahaha
[root@Fastdfs_storage_s3 ~]# md5sum /fastdfs/storage/data/00/00/wKgKzFqUyiqAabn8AAAAB-kMomQ229.txt
5a6d311c0d8f6d1dd03c1c129061d3b1 /fastdfs/storage/data/00/00/wKgKzFqUyiqAabn8AAAAB-kMomQ229.txt
2）下載文件命令：fdfs_download_file
在客戶端機器上將上面上傳到Fastdfs存儲里文文件下載下來
[root@Fastdfs_client ~]# cd /mnt/
[root@Fastdfs_client mnt]# /usr/bin/fdfs_download_file /etc/fdfs/client.conf group3/M00/00/00/wKgKzFqUyiqAabn8AAAAB-kMomQ229.txt
[root@Fastdfs_client mnt]# ls
wKgKzFqUyiqAabn8AAAAB-kMomQ229.txt
[root@Fastdfs_client mnt]# cat wKgKzFqUyiqAabn8AAAAB-kMomQ229.txt
hahaha
[root@Fastdfs_client mnt]# md5sum wKgKzFqUyiqAabn8AAAAB-kMomQ229.txt
5a6d311c0d8f6d1dd03c1c129061d3b1 wKgKzFqUyiqAabn8AAAAB-kMomQ229.txt
下載后可以對比文件的md5值。
3）查看文件信息命令：fdfs_file_info
[root@Fastdfs_client ~]# /usr/bin/fdfs_file_info /etc/fdfs/client.conf group3/M00/00/00/wKgKzFqUyiqAabn8AAAAB-kMomQ229.txt
source storage id: 0
source ip address: 192.168.10.204
file create timestamp: 2018-02-27 11:02:02
file size: 7
file crc32: 3909919332 (0xE90CA264)
4）刪除文件命令：fdfs_delete_file
[root@Fastdfs_client ~]# /usr/bin/fdfs_delete_file /etc/fdfs/client.conf group3/M00/00/00/wKgKzFqUyiqAabn8AAAAB-kMomQ229.txt
刪除之后沒有信息提示，我們再進行下載和查找，結果如下：
[root@Fastdfs_client mnt]# /usr/bin/fdfs_download_file /etc/fdfs/client.conf group3/M00/00/00/wKgKzFqUyiqAabn8AAAAB-kMomQ229.txt
[2018-02-27 14:21:08] ERROR - file: tracker_proto.c, line: 48, server: 192.168.10.204:23000, response status 2 != 0
download file fail, error no: 2, error info: No such file or directory
到group3組內的存儲服務器上查看，發現沒有這個文件的id信息
[root@Fastdfs_storage_s3 ~]# ll /fastdfs/storage/data/00/00/
[root@Fastdfs_storage_s3 ~]#
5）追加文件內容命令：fdfs_upload_appender 和 fdfs_append_file
先使用命令上傳一個appender文件
[root@Fastdfs_client src]# echo "123456" > haha.txt
[root@Fastdfs_client src]# /usr/bin/fdfs_upload_appender /etc/fdfs/client.conf /usr/local/src/haha.txt
group1/M00/00/00/wKgKylqU_myEa194AAAAACXX7BE787.txt
到group1組內的存儲服務器上查看這個文件
[root@Fastdfs_storage_s1 ~]# ll /fastdfs/storage/data/00/00/
total 12
-rw-r--r--. 1 root root 7 Feb 27 14:45 wKgKylqU_myEa194AAAAACXX7BE787.txt
[root@Fastdfs_storage_s1 ~]# cat /fastdfs/storage/data/00/00/wKgKylqU_myEa194AAAAACXX7BE787.txt
123456
然后進行內容追加
[root@Fastdfs_client src]# echo "abcdefgh" > heihei.txt
[root@Fastdfs_client src]# /usr/bin/fdfs_append_file /etc/fdfs/client.conf group1/M00/00/00/wKgKylqU_myEa194AAAAACXX7BE787.txt /usr/local/src/heihei.txt
再次到group1組內的存儲服務器上查看這個文件內容
[root@Fastdfs_storage_s1 ~]# cat /fastdfs/storage/data/00/00/wKgKylqU_myEa194AAAAACXX7BE787.txt
123456
abcdefgh
或者將文件下載到本地查看
[root@Fastdfs_client src]# cd /mnt/
[root@Fastdfs_client mnt]# /usr/bin/fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/wKgKylqU_myEa194AAAAACXX7BE787.txt
[root@Fastdfs_client mnt]# ls
wKgKylqU_myEa194AAAAACXX7BE787.txt
[root@Fastdfs_client mnt]# cat wKgKylqU_myEa194AAAAACXX7BE787.txt
123456
abcdefgh
6）監控服務器狀態命令：fdfs_monitor
[root@Fastdfs_client src]# /usr/bin/fdfs_monitor /etc/fdfs/client.conf
[2018-02-27 14:49:06] DEBUG - base_path=/fastdfs/tracker, connect_timeout=30, network_timeout=60, tracker_server_count=2, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0
server_count=2, server_index=0
tracker server is 192.168.10.200:22122
group count: 3
Group 1:
group name = group1
disk total space = 50268 MB
disk free space = 44987 MB
trunk free space = 0 MB
storage server count = 1
active server count = 1
storage server port = 23000
storage HTTP port = 8888
store path count = 1
subdir count per path = 256
current write server index = 0
current trunk file id = 0
Storage 1:
id = 192.168.10.202
ip_addr = 192.168.10.202 ACTIVE
http domain =
........
........
7）移除故障節點示例
如果一個group組內有多個節點，其中一個節點的上的fastdfs出了問題，需要將它從組中移除，可根據下面的命令操作：
a）停掉fastdfs上的storage服務
# /etc/init.d/fdfs_storaged stop
# lsof -i :23000 //確保storage服務停止
b）將問題節點（比如group1組內的節點storage-node3，ip為192.168.10.23）從組中移除
# /usr/bin/fdfs_monitor /etc/fdfs/client.conf delete group1 192.168.10.23
c）移除成功，使用fdfs_monitor命令進行監控
# /usr/bin/fdfs_monitor /etc/fdfs/client.conf
通過監控，可以發現移除之后，storage-node3節點的狀態為DELETED。
d）當storage-node3上的fastdfs修復后，可以再把它加入到fastdfs組中，加入的操作只需要把storage-node3上的fastdfs服務正常啟動就好，
因為配置文件已經做了配置，如果服務正常的話，修復后的節點可以自動加入到fastdfs組中
啟動fastdfs_storaged服務
# /etc/init.d/fdfs_storaged stop
# lsof -i :23000
使用fdfs_monitor命令進行監控
# /usr/bin/fdfs_monitor /etc/fdfs/client.conf
修復后，再次監控，可以看到，此時storage-node3已經變為ACTIVE狀態了。