FastDFS服務器搭建

一、FastDFS介紹

FastDFS開源地址：https://github.com/happyfish100

1.1 簡介

       FastDFS是一款類Google FS的開源分布式文件系統，它用純C語言實現，支持Linux、FreeBSD、AIX等UNIX系統。它只能通過 專有API對文件進行存取訪問，不支持POSIX接口方式，不能mount使用。准確地講，Google FS以及FastDFS、mogileFS、 HDFS、TFS等類Google FS都不是系統級的分布式文件系統，而是應用級的分布式文件存儲服務。    

       FastDFS 是一個開源的高性能分布式文件系統（DFS）。 它的主要功能包括：文件存儲，文件同步和文件訪問，以及高容量和負載平衡。主要解決了海量數據存儲問題，特別適合以中小文件（建議范圍：4KB < file_size <500MB）為載體的在線服務。

1.2   FastDFS架構

　　FastDFS架構包括 Tracker server和Storage server。客戶端請求Tracker server進行文件上傳、下載，通過Trackerserver調度最終由Storage server完成文件上傳和下載。

FastDFS 系統有三個角色：跟蹤服務器(Tracker Server)、存儲服務器(Storage Server)和客戶端(Client)。

　　Tracker Server：跟蹤服務器，主要做調度工作，起到均衡的作用；負責管理所有的 storage server和 group，每個 storage 在啟動后會連接 Tracker，告知自己所屬 group 等信息，並保持周期性心跳。通過Trackerserver在文件上傳時可以根據一些策略找到Storageserver提供文件上傳服務。

　　Storage Server：存儲服務器，主要提供容量和備份服務；以 group 為單位，每個 group 內可以有多台 storage server，數據互為備份。Storage server沒有實現自己的文件系統而是利用操作系統 的文件系統來管理文件。

　　Client：客戶端，上傳下載數據的服務器，也就是我們自己的項目所部署在的服務器。

1.2.1 Tracker 集群

         FastDFS集群中的Tracker server可以有多台，Trackerserver之間是相互平等關系同時提供服務，Trackerserver不存在單點故障。客戶端請求Trackerserver采用輪詢方式，如果請求的tracker無法提供服務則換另一個tracker。

1.2.2 Storage 集群

　　為了支持大容量，存儲節點（服務器）采用了分卷（或分組）的組織方式。存儲系統由一個或多個卷組成，卷與卷之間的文件是相互獨立的，所有卷的文件容量累加就是整個存儲系統中的文件容量。一個卷由一台或多台存儲服務器組成，卷內的Storage server之間是平等關系，不同卷的Storageserver之間不會相互通信，同卷內的Storageserver之間會相互連接進行文件同步，從而保證同組內每個storage上的文件完全一致的。一個卷的存儲容量為該組內存儲服務器容量最小的那個，由此可見組內存儲服務器的軟硬件配置最好是一致的。卷中的多台存儲服務器起到了冗余備份和負載均衡的作用

在卷中增加服務器時，同步已有的文件由系統自動完成，同步完成后，系統自動將新增服務器切換到線上提供服務。當存儲空間不足或即將耗盡時，可以動態添加卷。只需要增加一台或多台服務器，並將它們配置為一個新的卷，這樣就擴大了存儲系統的容量。

采用分組存儲方式的好處是靈活、可控性較強。比如上傳文件時，可以由客戶端直接指定上傳到的組也可以由tracker進行調度選擇。一個分組的存儲服務器訪問壓力較大時，可以在該組增加存儲服務器來擴充服務能力（縱向擴容）。當系統容量不足時，可以增加組來擴充存儲容量（橫向擴容）。

1.2.3  Storage狀態收集

        Storage server會連接集群中所有的Tracker server，定時向他們報告自己的狀態，包括磁盤剩余空間、文件同步狀況、文件上傳下載次數等統計信息。

1.2.4 FastDFS的上傳過程

FastDFS向使用者提供基本文件訪問接口，比如upload、download、append、delete等，以客戶端庫的方式提供給用戶使用。

Storage Server會定期的向Tracker Server發送自己的存儲信息。當Tracker Server Cluster中的Tracker Server不止一個時，各個Tracker之間的關系是對等的，所以客戶端上傳時可以選擇任意一個Tracker。

當Tracker收到客戶端上傳文件的請求時，會為該文件分配一個可以存儲文件的group，當選定了group后就要決定給客戶端分配group中的哪一個storage server。當分配好storage server后，客戶端向storage發送寫文件請求，storage將會為文件分配一個數據存儲目錄。然后為文件分配一個fileid，最后根據以上的信息生成文件名存儲文件。

客戶端上傳文件后存儲服務器將文件ID返回給客戶端，此文件ID用於以后訪問該文件的索引信息。文件索引信息包括：組名，虛擬磁盤路徑，數據兩級目錄，文件名。

組名：文件上傳后所在的storage組名稱，在文件上傳成功后有storage服務器返回，需要客戶端自行保存。

虛擬磁盤路徑：storage配置的虛擬路徑，與磁盤選項store_path*對應。如果配置了store_path0則是M00，如果配置了store_path1則是M01，以此類推。

數據兩級目錄：storage服務器在每個虛擬磁盤路徑下創建的兩級目錄，用於存儲數據文件。

文件名：與文件上傳時不同。是由存儲服務器根據特定信息生成，文件名包含：源存儲服務器IP地址、文件創建時間戳、文件大小、隨機數和文件拓展名等信息。

1.2.5 FastDFS的文件同步

寫文件時，客戶端將文件寫至group內一個storage server即認為寫文件成功，storage server寫完文件后，會由后台線程將文件同步至同group內其他的storage server。

每個storage寫文件后，同時會寫一份binlog，binlog里不包含文件數據，只包含文件名等元信息，這份binlog用於后台同步，storage會記錄向group內其他storage同步的進度，以便重啟后能接上次的進度繼續同步；進度以時間戳的方式進行記錄，所以最好能保證集群內所有server的時鍾保持同步。

storage的同步進度會作為元數據的一部分匯報到tracker上，tracke在選擇讀storage的時候會以同步進度作為參考。

1.2.6 FastDFS的文件下載

客戶端uploadfile成功后，會拿到一個storage生成的文件名，接下來客戶端根據這個文件名即可訪問到該文件。

跟upload file一樣，在downloadfile時客戶端可以選擇任意tracker server。tracker發送download請求給某個tracker，必須帶上文件名信息，tracke從文件名中解析出文件的group、大小、創建時間等信息，然后為該請求選擇一個storage用來服務讀請求。

tracker根據請求的文件路徑即文件ID 來快速定義文件。

比如請求下邊的文件：

1.通過組名tracker能夠很快的定位到客戶端需要訪問的存儲服務器組是group1，並選擇合適的存儲服務器提供客戶端訪問。 

2.存儲服務器根據“文件存儲虛擬磁盤路徑”和“數據文件兩級目錄”可以很快定位到文件所在目錄，並根據文件名找到客戶端需要訪問的文件。

二、安裝FastDFS

2.1 環境准備

操作環境：CentOS7 X64，以下操作都是單機環境。

服務列表：

 

 

 如果采用主機名，需做如下配置

由於 集群內部有時需要通過主機名來進行相互通信，因此我們需要保證每一台機器的主機名都不相同。
具體操作參見：https://blog.csdn.net/prcyang/article/details/84787480

先做一件事，修改hosts，將文件服務器的ip與域名映射(單機TrackerServer環境)，因為后面很多配置里面都需要去配置服務器地址，ip變了，就只需要修改hosts即可。

我把所有的安裝包下載或上傳到 /usr/local/src/下，並解壓到當前目錄。

如果要在本機訪問虛擬機，在C:\Windows\System32\drivers\etc\hosts中同樣增加一行

2.2 CentOS安裝GCC

安裝FastDFS需要先將官網下載的源碼進行編譯，編譯依賴gcc環境

[root@localhost ~]# yum -y install gcc-c++

ps:檢查gcc-c++是否已經安裝(如果已安裝，執行 yum -y install gcc-c++ 也會提示)

[root@localhost src]# whereis gcc   
gcc:[root@localhost src]#        # 未安裝輸出
gcc: /usr/bin/gcc /usr/lib/gcc /usr/libexec/gcc /usr/share/man/man1/gcc.1.gz        #已安裝輸出

2.3 安裝libevent

FastDFS依賴libevent庫，需要安裝:

[root@localhost ~]# yum -y install libevent

2.4 安裝libfastcommon

libfastcommon是FastDFS官方提供的，libfastcommon包含了FastDFS運行所需要的一些基礎庫。

下載地址： https://github.com/happyfish100/libfastcommon/releases 選擇合適的版本

[root@localhost ~]# cd /usr/local/src/    #切換到下載目錄
[root@localhost src]# wget -O libfastcommon-1.0.43.tar.gz  https://codeload.github.com/happyfish100/libfastcommon/tar.gz/V1.0.43 #下載（如果下載慢 可以將下載好的文件上傳到此目錄)
[root@localhost src]# tar -zxvf libfastcommon-1.0.43.tar.gz      #解壓
[root@localhost src]# cd libfastcommon-1.0.43/
# 安裝
[root@localhost libfastcommon-1.0.43]# ./make.sh 
[root@localhost libfastcommon-1.0.43]# ./make.sh  install

2.5 安裝FastDFS

下載地址：https://github.com/happyfish100/fastdfs/releases 選擇合適的版本

[root@localhost libfastcommon-1.0.39]# cd /usr/local/src/      #切換到下載目錄

#下載（如果下載慢 可以將下載好的文件上傳到此目錄)
[root@localhost src]# wget -O fastdfs-5.05.tar.gz https://codeload.github.com/happyfish100/fastdfs/tar.gz/V5.05
[root@localhost src]# tar -zxvf fastdfs-5.05.tar.gz   #解壓
[root@localhost src]# cd fastdfs-5.05/
#安裝
[root@localhost fastdfs-5.05]# ./make.sh 
[root@localhost fastdfs-5.05]# ./make.sh  install

默認安裝方式安裝后的相應文件與目錄

A、服務腳本：

/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_trackerd

B、配置文件（這三個是作者給的樣例配置文件）

/etc/fdfs/client.conf.sample
/etc/fdfs/storage.conf.sample
/etc/fdfs/tracker.conf.sample

C、命令工具在 /usr/bin/ 目錄下：

fdfs_appender_test
fdfs_appender_test1
fdfs_append_file
fdfs_crc32
fdfs_delete_file
fdfs_download_file
fdfs_file_info
fdfs_monitor
fdfs_storaged
fdfs_test
fdfs_test1
fdfs_trackerd
fdfs_upload_appender
fdfs_upload_file
stop.sh
restart.sh

2.6 配置FastDFS跟蹤器(Tracker)

配置文件詳細說明參考：FastDFS 配置文件詳解

• 進入 /etc/fdfs，復制 FastDFS 跟蹤器樣例配置文件 tracker.conf.sample，並重命名為 tracker.conf。

[root@localhost fastdfs-5.05]# cd /etc/fdfs/
[root@localhost fdfs]# cp tracker.conf.sample tracker.conf
[root@localhost fdfs]#  vim tracker.conf

•  編輯tracker.conf ，標紅的需要修改下，其它的默認即可。

# 配置文件是否不生效，false 為生效
disabled=false

# 提供服務的端口
port=22122

# Tracker 數據和日志目錄地址(根目錄必須存在,子目錄會自動創建)
base_path=/fastdfs/tracker

# HTTP 服務端口 默認8080 ，建議修改 防止沖突
http.server_port=8888

• 創建tracker基礎數據目錄，即base_path對應的目錄

[root@localhost fdfs]# mkdir -p /fastdfs/tracker

• 防火牆中打開跟蹤端口（默認的22122）

[root@localhost fdfs]# firewall-cmd --zone=public --add-port=22122/tcp --permanent

[root@localhost fdfs]# firewall-cmd --reload   # 配置立即生效

• 啟動Tracker

初次成功啟動，會在 /fdfsdfs/tracker/ (配置的base_path)下創建 data、logs 兩個目錄。

[root@localhost fdfs]# /etc/init.d/fdfs_trackerd start
[root@localhost fdfs]# service fdfs_trackerd start
[root@localhost fdfs]# systemctl start fdfs_trackerd

查看 FastDFS Tracker 是否已成功啟動 ，

# systemctl status fdfs_trackerd  # 查看服務狀態 運行狀態則算成功
 fdfs_trackerd.service - LSB: FastDFS tracker server
   Loaded: loaded (/etc/rc.d/init.d/fdfs_trackerd; bad; vendor preset: disabled)
   Active: active (exited) since 四 2019-05-09 08:57:18 CST; 6min ago
     Docs: man:systemd-sysv-generator(8)
  Process: 130913 ExecStop=/etc/rc.d/init.d/fdfs_trackerd stop (code=exited, status=2)
  Process: 131030 ExecStart=/etc/rc.d/init.d/fdfs_trackerd start (code=exited, status=0/SUCCESS)

# netstat -tulnp|grep fdfs   # 22122端口正在被監聽，則算是Tracker服務安裝成功
   tcp        0      0 0.0.0.0:22122           0.0.0.0:*               LISTEN      27492/fdfs_trackerd 

• 關閉Tracker命令：

[root@localhost fdfs]# service fdfs_trackerd stop
[root@localhost fdfs]# systemctl stop fdfs_trackerd #centos7 推薦
[root@localhost fdfs]# /etc/init.d/fdfs_trackerd stop

•  設置Tracker開機啟動

# chkconfig fdfs_trackerd on
或
#systemctl enable fdfs_trackerd.service
或者：
# vim /etc/rc.d/rc.local
加入配置：
/etc/init.d/fdfs_trackerd start

• tracker server 目錄及文件結構 

Tracker服務啟動成功后，會在base_path下創建data、logs兩個目錄。目錄結構如下：

${base_path}
|__data
| |__storage_groups.dat：存儲分組信息
| |__storage_servers.dat：存儲服務器列表
|__logs
| |__trackerd.log： tracker server 日志文件

2.7 配置 FastDFS 存儲 (Storage)

配置文件詳細說明參考：FastDFS 配置文件詳解

• 進入 /etc/fdfs 目錄，復制 FastDFS 存儲器樣例配置文件 storage.conf.sample，並重命名為 storage.conf

# cd /etc/fdfs
# cp storage.conf.sample storage.conf
# vim storage.conf

• 編輯storage.conf

標紅的需要修改，其它的默認即可。

# 配置文件是否不生效，false 為生效
disabled=false 

# 指定此 storage server 所在 組(卷)
group_name=group1

# storage server 服務端口
port=23000

# 心跳間隔時間，單位為秒 (這里是指主動向 tracker server 發送心跳)
heart_beat_interval=30

# Storage 數據和日志目錄地址(根目錄必須存在，子目錄會自動生成)  (注 :這里不是上傳的文件存放的地址,之前版本是的,在某個版本后更改了)
base_path=/fastdfs/storage/base

# 存放文件時 storage server 支持多個路徑。這里配置存放文件的基路徑數目，通常只配一個目錄。
store_path_count=1


# 逐一配置 store_path_count 個路徑，索引號基於 0。
# 如果不配置 store_path0，那它就和 base_path 對應的路徑一樣。
store_path0=/fastdfs/storage

# FastDFS 存儲文件時，采用了兩級目錄。這里配置存放文件的目錄個數。 
# 如果本參數只為 N（如： 256），那么 storage server 在初次運行時，會在 store_path 下自動創建 N * N 個存放文件的子目錄。
subdir_count_per_path=256

# tracker_server 的列表 ，會主動連接 tracker_server
# 有多個 tracker server 時，每個 tracker server 寫一行
tracker_server=192.168.0.200:22122
tracker_server=192.168.0.201:22122

# 允許系統同步的時間段 (默認是全天) 。一般用於避免高峰同步產生一些問題而設定。
sync_start_time=00:00
sync_end_time=23:59
# 訪問端口 默認80  建議修改 防止沖突
http.server_port=10000

•  創建Storage基礎數據目錄，對應base_path目錄

# 對應base_path
# mkdir -p /fastdfs/storage/base
# 這是配置的store_path0路徑，有多個要創建多個
# mkdir -p /fastdfs/storage/

• 防火牆中打開存儲器端口（默認的 23000） 

[root@localhost fdfs]# firewall-cmd --zone=public --add-port=23000/tcp --permanent
[root@localhost fdfs]# firewall-cmd --reload   # 配置立即生效

•  啟動 Storage

啟動Storage前確保Tracker是啟動的。初次啟動成功，會在 /fastdfs/storage/base(base_path) 目錄下創建 data、 logs 兩個目錄。

可以用這種方式啟動
# /etc/init.d/fdfs_storaged start
# service fdfs_storaged start
# systemctl start fdfs_storaged  #centos7 推薦

查看 Storage 是否成功啟動，

# netstat -unltp|grep fdfs #23000 端口正在被監聽，就算 Storage 啟動成功。
tcp        0      0 0.0.0.0:23000           0.0.0.0:*               LISTEN      28834/fdfs_storaged 
# systemctl status fdfs_storaged # 查看服務狀態
● fdfs_storaged.service - LSB: FastDFS storage server
   Loaded: loaded (/etc/rc.d/init.d/fdfs_storaged; bad; vendor preset: disabled)
   Active: active (running) since 四 2019-05-09 09:22:53 CST; 2s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 23015 ExecStart=/etc/rc.d/init.d/fdfs_storaged start (code=exited, status=0/SUCCESS)
    Tasks: 1
   Memory: 184.0K
   CGroup: /system.slice/fdfs_storaged.service
           └─23023 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
 
5月 09 09:22:53 localhost.localdomain systemd[1]: Starting LSB: FastDFS storage server...
5月 09 09:22:53 localhost.localdomain fdfs_storaged[23015]: Starting FastDFS storage server:
5月 09 09:22:53 localhost.localdomain systemd[1]: Started LSB: FastDFS storage server.

• 關閉Storage

[root@localhost fdfs]# service fdfs_storaged stop
[root@localhost fdfs]# systemctl stop fdfs_storaged #centos7 推薦
[root@localhost fdfs]# /etc/init.d/fdfs_storaged stop

• 查看Storage和Tracker是否在通信：

# /usr/bin/fdfs_monitor /etc/fdfs/storage.conf
[2019-05-09 11:34:09] DEBUG - base_path=/fastdfs/storage/base, connect_timeout=30, network_timeout=60, tracker_server_count=2, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0
 
server_count=2, server_index=0
 
tracker server is 192.168.0.200:22122
 
group count: 1
 
Group 1:
group name = group1
disk total space = 51175 MB
disk free space = 14251 MB
trunk free space = 0 MB
storage server count = 2
active server count = 1
storage server port = 23000
storage HTTP port = 9888
store path count = 1
subdir count per path = 256
current write server index = 0
current trunk file id = 0
 
    Storage 1:
        id = 192.168.0.200
        ip_addr = 192.168.0.200 (localhost.localdomain)  ACTIVE
        。。。
     Storage 2:
        id = 192.168.0.201
        ip_addr = 192.168.0.201  WAIT_SYNC

• 設置 Storage 開機啟動

# chkconfig fdfs_storaged on
或
#systemctl enable fdfs_storaged.service （推薦）
或者：
# vim /etc/rc.d/rc.local
加入配置：
/etc/init.d/fdfs_storaged start

Storage 目錄

同 Tracker，Storage 啟動成功后，在base_path 下創建了data、logs目錄，記錄着 Storage Server 的信息。
在 store_path0/data 目錄下，創建了N*N個子目錄：

[root@localhost ~]# ls /fastdfs/storage/data/
00  05  0A  0F  14  19  1E  23  28  2D  32  37  3C  41  46  4B  50  55  5A  5F  64  69  6E  73  78  7D  82  87  8C  91  96  9B  A0  A5  AA  AF  B4  B9  BE  C3  C8  CD  D2  D7  DC  E1  E6  EB  F0  F5  FA  FF
01  06  0B  10  15  1A  1F  24  29  2E  33  38  3D  42  47  4C  51  56  5B  60  65  6A  6F  74  79  7E  83  88  8D  92  97  9C  A1  A6  AB  B0  B5  BA  BF  C4  C9  CE  D3  D8  DD  E2  E7  EC  F1  F6  FB
02  07  0C  11  16  1B  20  25  2A  2F  34  39  3E  43  48  4D  52  57  5C  61  66  6B  70  75  7A  7F  84  89  8E  93  98  9D  A2  A7  AC  B1  B6  BB  C0  C5  CA  CF  D4  D9  DE  E3  E8  ED  F2  F7  FC
03  08  0D  12  17  1C  21  26  2B  30  35  3A  3F  44  49  4E  53  58  5D  62  67  6C  71  76  7B  80  85  8A  8F  94  99  9E  A3  A8  AD  B2  B7  BC  C1  C6  CB  D0  D5  DA  DF  E4  E9  EE  F3  F8  FD
04  09  0E  13  18  1D  22  27  2C  31  36  3B  40  45  4A  4F  54  59  5E  63  68  6D  72  77  7C  81  86  8B  90  95  9A  9F  A4  A9  AE  B3  B8  BD  C2  C7  CC  D1  D6  DB  E0  E5  EA  EF  F4  F9  FE

2.8 上傳測試

• 修改 Tracker 服務器中的客戶端配置文件 

# cd /etc/fdfs
# cp client.conf.sample client.conf
# vim client.conf

• 修改如下配置即可，其它默認。

# Client 的數據和日志目錄
base_path=/fastdfs/client
 
# Tracker端口
tracker_server=192.168.0.200:22122

 上傳測試

 在linux內部執行如下命令上傳 namei.jpeg 圖片

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf namei.jpeg

[2020-05-23 15:50:19] ERROR - file: ../client/client_func.c, line: 284, "/fastdfs/client" can't be accessed, error info: No such file or directory

文件夾/fastdfs/client不存在,需要手動創建

# mkdir -p /fastdfs/client/

再執行命令/usr/bin/fdfs_upload_file /etc/fdfs/client.conf namei.jpeg

上傳成功后返回文件ID號：group1/M00/00/00/wKgz6lnduTeAMdrcAAEoRmXZPp870.jpeg

 

返回的文件ID由group、存儲目錄、兩級子目錄、fileid、文件后綴名（由客戶端指定，主要用於區分文件類型）拼接而成。

 

 

三、安裝配置Nginx ，http訪問文件

上面將文件上傳成功了，但我們無法下載。因此安裝Nginx作為服務器以支持Http方式訪問文件。同時，后面安裝FastDFS的Nginx模塊也需要Nginx環境。

Nginx只需要安裝到StorageServer所在的服務器即可，用於訪問文件

安裝nginx 參見：https://blog.csdn.net/prcyang/article/details/90032781

配置nginx

# vim /usr/local/nginx/conf/nginx.conf
配置如下
server {
        listen       8081;
        server_name  192.168.0.200;
 
        location /group1/M00{
        alias /fastdfs/storage/data/;
         autoindex on;
 
       }
 
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
        root   html;
       }

 在瀏覽器訪問之前上傳的圖片 http://192.168.0.200:8081/group1/M00/00/00/wKgz6lnduTeAMdrcAAEoRmXZPp870.jpeg

 

四、FastDFS 配置 Nginx 模塊

4.1 安裝配置fastdfs-nginx-module模塊

•  fastdfs-nginx-module 模塊說明

　　FastDFS 通過 Tracker 服務器，將文件放在 Storage 服務器存儲， 但是同組存儲服務器之間需要進行文件復制， 有同步延遲的問題。

假設 Tracker 服務器將文件上傳到了 192.168.51.128，上傳成功后文件 ID已經返回給客戶端。

　　此時 FastDFS 存儲集群機制會將這個文件同步到同組存儲 192.168.51.129，在文件還沒有復制完成的情況下，客戶端如果用這個文件 ID 在 192.168.51.129 上取文件,就會出現文件無法訪問的錯誤。

　　而 fastdfs-nginx-module 可以重定向文件鏈接到源服務器取文件，避免客戶端由於復制延遲導致的文件無法訪問錯誤。

• 下載fastdfs-nginx-module

# cd /usr/local/src
# wget -O fastdfs-nginx-module-1.20.tar.gz  https://codeload.github.com/happyfish100/fastdfs-nginx-module/tar.gz/V1.20
# tar -zxvf fastdfs-nginx-module-1.20.tar.gz 

• 編輯 fastdfs-nginx-module-1.20/src/config 文件

必須做如下修改 ，否則編譯nginx時報致命錯誤，參見 https://blog.csdn.net/zzzgd_666/article/details/81911892

vim /usr/local/src/fastdfs-nginx-module-1.20/src/config
修改為如下內容

ngx_addon_name=ngx_http_fastdfs_module
 
if test -n "${ngx_module_link}"; then
ngx_module_type=HTTP
ngx_module_name=$ngx_addon_name
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
ngx_module_libs="-lfastcommon -lfdfsclient"
ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c"
ngx_module_deps=
CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='2561024' -DFDFS_MOD_CONF_FILENAME='"/etc/fdfs/mod_fastdfs.conf"'"
. auto/module
else
HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module"
NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_fastdfs_module.c"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient"
CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='2561024' -DFDFS_MOD_CONF_FILENAME='"/etc/fdfs/mod_fastdfs.conf"'"
fi

改變的文件內容
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

• 配置nginx，添加fastdfs-nginx-module 模塊 

# 先停掉nginx服務 如果沒有配置為服務 則使用 # /usr/local/nginx/sbin/nginx -s stop
# systemctl stop nginx     
#進入nginx源碼目錄
# cd /usr/local/src/nginx-1.16.0/   
#添加fastdfs-nginx-module 模塊
#[root@localhost nginx-1.16.0]#./configure  --add-module=/usr/local/src/fastdfs-nginx-module-1.20/src
#重新編譯安裝nginx
#[root@localhost nginx-1.16.0]# make
#[root@localhost nginx-1.16.0]# make install
 
#驗證是否加載fastdfs-nginx-module模塊是否 ，有如下標紅部分表示成功
# /usr/local/nginx/sbin/nginx -V
nginx version: nginx/1.16.0
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-36) (GCC) 
configure arguments: --add-module=/usr/local/src/fastdfs-nginx-module-1.20/src

• 復制 fastdfs-nginx-module 源碼中的配置文件 mod_fastdfs.conf 到/etc/fdfs 目錄， 並修改

# cp /usr/local/src/fastdfs-nginx-module-1.20/src/mod_fastdfs.conf /etc/fdfs/
修改如下配置，其它默認

# 連接超時時間
connect_timeout=10
 
# Tracker Server
tracker_server=192.168.0.200:22122
 
# StorageServer 默認端口
storage_server_port=23000
 
# 如果文件ID的uri中包含/group**，則要設置為true
#url_have_group_name = true
 
# Storage 配置的store_path0路徑，必須和storage.conf中的一致
store_path0=/fastdfs/storage

• 復制 FastDFS 的部分配置文件到/etc/fdfs 目錄

#cd /usr/local/src/fastdfs-5.11/conf/
[root@localhost conf]# cp anti-steal.jpg http.conf mime.types /etc/fdfs/

• 配置nginx，修改nginx.conf

# vim /usr/local/nginx/conf/nginx.conf
修改配置，其它的默認
在80端口下添加fastdfs-nginx模塊
location ~/group([0-9])/M00 {
    ngx_fastdfs_module;
}

完整配置如下 供參考

user root;
worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
 
    server {
 
        listen      10000 ;
        server_name  192.168.0.200;
 
       # location /group1/M00{
         # alias /fastdfs/storage/data/;
        # autoindex on;
       #}
 location ~/group[0-9]/ {
                ngx_fastdfs_module;
            }
 
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
        root   html;
       }
    }
 
}

注意：

　　listen 9888端口值是要與 /etc/fdfs/storage.conf 中的 http.server_port=10000 (前面改成10000了)相對應。如果改成其它端口，則需要統一，同時在防火牆中打開該端口。

　　location 的配置，如果有多個group則配置location ~/group([0-9])/M00 ，沒有則不用配group。

• 在 /fastdfs/storage 文件存儲目錄下創建軟連接，將其鏈接到實際存放數據的目錄，這一步可以省略。

ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

• 啟動nginx

# systemctl start nginx

• 在地址欄訪問。

能下載文件就算安裝成功。注意和之前直接使用nginx路由訪問不同的是，這里配置 fastdfs-nginx-module 模塊，可以重定向文件鏈接到源服務器取文件。

五 最終部署結構圖

可以按照下面的結構搭建環境。

 

 

 

六、Java客戶端

前面文件系統平台搭建好了，現在就要寫客戶端代碼在系統中實現上傳下載，這里只是簡單的測試代碼。

1、首先需要搭建 FastDFS 客戶端Java開發環境

① 項目中使用maven進行依賴管理，可以在pom.xml中引入如下依賴即可：

<dependency>
   <groupId>net.oschina.zcx7878</groupId>
   <artifactId>fastdfs-client-java</artifactId>
   <version>1.27.0.0</version>
</dependency>

其它的方式，參考官方文檔：https://github.com/happyfish100/fastdfs-client-java

② 引入配置文件

可直接復制包下的 fastdfs-client.properties.sample 或者 fdfs_client.conf.sample，到你的項目中，去掉.sample。

 

 

 我這里直接復制 fastdfs-client.properties.sample 中的配置到項目配置文件 config.properties 中，修改tracker_servers。只需要加載這個配置文件即可

 

 

 

2、客戶端API

個人封裝的FastDFS Java API以同步到github：https://github.com/bojiangzhou/lyyzoo-fastdfs-java.git

七、權限控制

前面使用nginx支持http方式訪問文件，但所有人都能直接訪問這個文件服務器了，所以做一下權限控制。

FastDFS的權限控制是在服務端開啟token驗證，客戶端根據文件名、當前unix時間戳、秘鑰獲取token，在地址中帶上token參數即可通過http方式訪問文件。

① 服務端開啟token驗證

修改http.conf
# vim /etc/fdfs/http.conf
 
設置為true表示開啟token驗證
http.anti_steal.check_token=true
 
設置token失效的時間單位為秒(s)
http.anti_steal.token_ttl=1800
 
密鑰，跟客戶端配置文件的fastdfs.http_secret_key保持一致
http.anti_steal.secret_key=FASTDFS1234567890
 
如果token檢查失敗，返回的頁面
http.anti_steal.token_check_fail=/ljzsg/fastdfs/page/403.html

記得重啟服務。

② 配置客戶端

客戶端只需要設置如下兩個參數即可，兩邊的密鑰保持一致。

# token 防盜鏈功能
fastdfs.http_anti_steal_token=true
# 密鑰
fastdfs.http_secret_key=FASTDFS1234567890

③ 客戶端生成token

訪問文件需要帶上生成的token以及unix時間戳，所以返回的token是token和時間戳的拼接。

之后，將token拼接在地址后即可訪問：file.ljzsg.com/group1/M00/00/00/wKgzgFnkaXqAIfXyAAEoRmXZPp878.jpeg?token=078d370098b03e9020b82c829c205e1f&ts=1508141521

　　　　/**
       * 獲取訪問服務器的token，拼接到地址后面
       *
       * @param filepath 文件路徑 group1/M00/00/00/wKgzgFnkTPyAIAUGAAEoRmXZPp876.jpeg
       * @param httpSecretKey 密鑰
       * @return 返回token，如： token=078d370098b03e9020b82c829c205e1f&ts=1508141521
       */
      public static String getToken(String filepath, String httpSecretKey){
          // unix seconds
         int ts = (int) Instant.now().getEpochSecond();
         // token
         String token = "null";
         try {
             token = ProtoCommon.getToken(getFilename(filepath), ts, httpSecretKey);
         } catch (UnsupportedEncodingException e) {
             e.printStackTrace();
         } catch (NoSuchAlgorithmException e) {
             e.printStackTrace();
         } catch (MyException e) {
             e.printStackTrace();
         }
 
         StringBuilder sb = new StringBuilder();
         sb.append("token=").append(token);
         sb.append("&ts=").append(ts);
 
         return sb.toString();
     }

④ 注意事項

如果生成的token驗證無法通過，請進行如下兩項檢查：
　　A. 確認調用token生成函數(ProtoCommon.getToken)，傳遞的文件ID中沒有包含group name。傳遞的文件ID格式形如：M00/00/00/wKgzgFnkTPyAIAUGAAEoRmXZPp876.jpeg

　　B. 確認服務器時間基本是一致的，注意服務器時間不能相差太多，不要相差到分鍾級別。

⑤ 對比下發現，如果系統文件隱私性較高，可以直接通過fastdfs-client提供的API去訪問即可，不用再配置Nginx走http訪問。配置Nginx的主要目的是為了快速訪問服務器的文件(如圖片)，如果還要加權限驗證，則需要客戶端生成token，其實已經沒有多大意義。

參考：https://www.cnblogs.com/chiangchou/p/fastdfs.html 
https://blog.csdn.net/zzzgd_666/article/details/81911892
https://blog.csdn.net/sinat_40399893/article/details/80548374
https://blog.csdn.net/kamroselee/article/details/80334621

FastDFS 配置文件詳解：http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=1941456&extra=page%3D1%26filter%3Ddigest%26digest%3D1