FastDFS+Nginx(單點部署)事例

本文轉載自查看原文 2017-01-05 12:15 20172 FastDFS/ Nginx/ 文件服務器/ 分布式

關於FastDFS集群部署請見博文 FastDFS集群部署

FastDFS是由淘寶的余慶先生所開發，是一個輕量級、高性能的開源分布式文件系統，用純C語言開發，包括文件存儲、文件同步、文件訪問（上傳、下載）、存取負載均衡、在線擴容、相同內容只存儲一份等功能，適合有大容量存儲需求的應用或系統。做分布式系統開發時，其中要解決的一個問題就是圖片、音視頻、文件共享的問題，分布式文件系統正好可以解決這個需求。同類的分布式文件系統有谷歌的GFS、HDFS（Hadoop）、TFS（淘寶）等。

源碼開放下載地址：https://github.com/happyfish100
早期源碼開放下載地址：https://sourceforge.net/projects/fastdfs/files/
官網論壇：http://bbs.chinaunix.net/forum-240-1.html

FastDFS系統架構：

fastdfs系統架構

FastDFS文件上傳流程：

fastdfs文件上傳流程

1、client詢問tracker上傳到的storage，不需要附加參數；
2、tracker返回一台可用的storage；
3、client直接和storage通訊完成文件上傳。

FastDFS文件下載流程：

fastdfs文件下載流程

1、client詢問tracker下載文件的storage，參數為文件標識（組名和文件名）；
2、tracker返回一台可用的storage；
3、client直接和storage通訊完成文件下載。

術語

FastDFS兩個主要的角色：Tracker Server 和 Storage Server
Tracker Server：跟蹤服務器，主要負責調度storage節點與client通信，在訪問上起負載均衡的作用，和記錄storage節點的運行狀態，是連接client和storage節點的樞紐。
Storage Server：存儲服務器，保存文件和文件的meta data（元數據）
Group：文件組，也可以稱為卷。同組內服務器上的文件是完全相同的，做集群時往往一個組會有多台服務器，上傳一個文件到同組內的一台機器上后，FastDFS會將該文件即時同步到同組內的其它所有機器上，起到備份的作用。
meta data：文件相關屬性，鍵值對（Key Value Pair）方式，如：width=1024, height=768。和阿里雲OSS的meta data相似。

FastDFS單節點安裝 - 服務器規划：

跟蹤服務器（Tracker Server）：ip01
存儲服務器（Storage Server）：ip02
操作系統：CentOS7
用戶：root
數據存儲目錄：

/fastdfs/tracker

安裝包：
FastDFS_v5.08.tar.gz：FastDFS源碼
libfastcommon-master.zip：（從 FastDFS 和 FastDHT 中提取出來的公共 C 函數庫）
fastdfs-nginx-module-master.zip：storage節點http服務nginx模塊
nginx-1.10.0.tar.gz：Nginx安裝包
ngx_cache_purge-2.3.tar.gz：圖片緩存清除Nginx模塊（集群環境會用到）
百度網盤鏈接: https://pan.baidu.com/s/1gfJ0WSz

下載所有安裝包。

下載完成后，將壓縮包解壓到/usr/local/src目錄下

一、所有tracker和storage節點都執行如下操作

1、安裝所需的依賴包

yum install make cmake gcc gcc-c++

2、安裝libfatscommon

cd /usr/local/src
#安裝unzip 命令： yum install -y unzip zip
unzip libfastcommon-master.zip    
cd libfastcommon-master
## 編譯、安裝
./make.sh
./make.sh install

3、安裝FastDFS

cd /usr/local/src
tar -xzvf FastDFS_v5.08.tar.gz
cd FastDFS
./make.sh
./make.sh install

采用默認安裝方式，相應的文件與目錄如下：

1> 服務腳本：

/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_trackerd

2> 配置文件（示例配置文件）：

 ll /etc/fdfs/
-rw-r--r-- 1 root root  1461 1月   4 14:34 client.conf.sample
-rw-r--r-- 1 root root  7927 1月   4 14:34 storage.conf.sample
-rw-r--r-- 1 root root  7200 1月   4 14:34 tracker.conf.sample

3> 命令行工具（/usr/bin目錄下）

-rwxr-xr-x    1 root root     260584 1月   4 14:34 fdfs_appender_test
-rwxr-xr-x    1 root root     260281 1月   4 14:34 fdfs_appender_test1
-rwxr-xr-x    1 root root     250625 1月   4 14:34 fdfs_append_file
-rwxr-xr-x    1 root root     250045 1月   4 14:34 fdfs_crc32
-rwxr-xr-x    1 root root     250708 1月   4 14:34 fdfs_delete_file
-rwxr-xr-x    1 root root     251515 1月   4 14:34 fdfs_download_file
-rwxr-xr-x    1 root root     251273 1月   4 14:34 fdfs_file_info
-rwxr-xr-x    1 root root     266401 1月   4 14:34 fdfs_monitor
-rwxr-xr-x    1 root root     873233 1月   4 14:34 fdfs_storaged
-rwxr-xr-x    1 root root     266952 1月   4 14:34 fdfs_test
-rwxr-xr-x    1 root root     266153 1月   4 14:34 fdfs_test1
-rwxr-xr-x    1 root root     371336 1月   4 14:34 fdfs_trackerd
-rwxr-xr-x    1 root root     251651 1月   4 14:34 fdfs_upload_appender
-rwxr-xr-x    1 root root     252781 1月   4 14:34 fdfs_upload_file

二、配置tracker服務器

1> 復制tracker樣例配置文件，並重命名

 cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

2> 修改tracker配置文件

vim /etc/fdfs/tracker.conf
# 修改的內容如下：
disabled=false              # 啟用配置文件
port=22122                  # tracker服務器端口（默認22122）
base_path=/fastdfs/tracker  # 存儲日志和數據的根目錄

其它參數保留默認配置，具體配置解釋可參考官方文檔說明：http://bbs.chinaunix.net/thread-1941456-1-1.html

3> 創建base_path指定的目錄

mkdir -p /fastdfs/tracker

4> 防火牆中打開tracker服務器端口（默認為 22122）

vi /etc/sysconfig/iptables

附加：若/etc/sysconfig 目錄下沒有iptables文件可隨便寫一條iptables命令配置個防火牆規則：如：

　　iptables -P OUTPUT ACCEPT

　　然后用命令：service iptables save 進行保存，默認就保存到 /etc/sysconfig/iptables 文件里。這時既有了這個文件。防火牆也可以啟動了。接下來要寫策略，也可以直接寫在/etc/sysconfig/iptables 里了。

添加如下端口行：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT

重啟防火牆

service iptables restart

5> 啟動tracker服務器

 /etc/init.d/fdfs_trackerd start

初次啟動，會在/fastdfs/tracker目錄下生成logs、data兩個目錄。

drwxr-xr-x 2 root root 4096 1月   4 15:00 data
drwxr-xr-x 2 root root 4096 1月   4 14:38 logs

檢查FastDFS Tracker Server是否啟動成功：

ps -ef | grep fdfs_trackerd

三、配置storage服務器

1> 復制storage樣例配置文件，並重命名

 cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

2> 編輯配置文件

vi /etc/fdfs/storage.conf

# 修改的內容如下:
disabled=false                      # 啟用配置文件
port=23000                          # storage服務端口
base_path=/fastdfs/storage          # 數據和日志文件存儲根目錄
store_path0=/fastdfs/storage        # 第一個存儲目錄
tracker_server=ip01:22122  # tracker服務器IP和端口
http.server_port=8888               # http訪問文件的端口

其它參數保留默認配置，具體配置解釋可參考官方文檔說明：http://bbs.chinaunix.net/thread-1941456-1-1.html

3> 創建基礎數據目錄

mkdir -p /fastdfs/storage

4> 防火牆中打開storage服務器端口（默認為 23000）

vi /etc/sysconfig/iptables

#添加如下端口行： 
-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT

重啟防火牆

 service iptables restart

5> 啟動storage服務器

/etc/init.d/fdfs_storaged start

初次啟動，會在/fastdfs/storage目錄下生成logs、data兩個目錄。

drwxr-xr-x 259 root root 4096 Mar 31 06:22 data
drwxr-xr-x   2 root root 4096 Mar 31 06:22 logs

檢查FastDFS Tracker Server是否啟動成功：

[root@gyl-test-t9 ~]# ps -ef | grep fdfs_storaged
root      1336     1  3 06:22 ?        00:00:01 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
root      1347   369  0 06:23 pts/0    00:00:00 grep fdfs_storaged

四、文件上傳測試（ip01）

1> 修改Tracker服務器客戶端配置文件

cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
# 修改以下配置，其它保持默認
base_path=/fastdfs/tracker
tracker_server=ip01:22122

2> 執行文件上傳命令

#/usr/local/src/test.png 是需要上傳文件路徑

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/test.png

返回文件ID號：group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png

（能返回以上文件ID，說明文件已經上傳成功）

五、在所有storage節點安裝fastdfs-nginx-module

1> fastdfs-nginx-module 作用說明
FastDFS 通過 Tracker 服務器,將文件放在 Storage 服務器存儲,但是同組存儲服務器之間需要進入文件復制,有同步延遲的問題。假設 Tracker 服務器將文件上傳到了 ip01,上傳成功后文件 ID 已經返回給客戶端。此時 FastDFS 存儲集群機制會將這個文件同步到同組存儲 ip02,在文件還沒有復制完成的情況下,客戶端如果用這個文件 ID 在 ip02 上取文件,就會出現文件無法訪問的錯誤。而 fastdfs-nginx-module 可以重定向文件連接到源服務器取文件,避免客戶端由於復制延遲導致的文件無法訪問錯誤。(解壓后的 fastdfs-nginx-module 在 nginx 安裝時使用)

2> 解壓 fastdfs-nginx-module_v1.16.tar.gz

cd /usr/local/src
tar -xzvf fastdfs-nginx-module_v1.16.tar.gz

3> 修改 fastdfs-nginx-module 的 config 配置文件

 cd fastdfs-nginx-module/src
 vi config

將

CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"

修改為:

CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

4>上傳當前的穩定版本 Nginx(nginx-1.10.0.tar.gz)到/usr/local/src 目錄

5>安裝編譯 Nginx 所需的依賴包

yum install gcc gcc-c++ make automake autoconf libtool pcre* zlib openssl openssl-devel

6>編譯安裝 Nginx (添加 fastdfs-nginx-module 模塊)

cd /usr/local/src/
tar -zxvf nginx-1.10.0.tar.gz
cd nginx-1.10.0

./configure --add-module=/usr/local/src/fastdfs-nginx-module/src 
make && make install

　　比對 nginx下Makefile

default:        build

clean:
        rm -rf Makefile objs

build:
        $(MAKE) -f objs/Makefile

install:
        $(MAKE) -f objs/Makefile install

modules:
        $(MAKE) -f objs/Makefile modules

upgrade:
        /usr/local/nginx/sbin/nginx -t

        kill -USR2 'cat /usr/local/nginx/logs/nginx.pid'
        sleep 1
        test -f /usr/local/nginx/logs/nginx.pid.oldbin

        kill -QUIT 'cat /usr/local/nginx/logs/nginx.pid.oldbin'

7>復制 fastdfs-nginx-module 源碼中的配置文件到/etc/fdfs 目錄,並修改

cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/ 
vi /etc/fdfs/mod_fastdfs.conf

8>修改以下配置:

connect_timeout=10
     base_path=/tmp
     tracker_server=ip01:22122
     storage_server_port=23000
     group_name=group1
     url_have_group_name = true
     store_path0=/fastdfs/storage

9> 復制 FastDFS 的部分配置文件到/etc/fdfs 目錄

cd /usr/local/src/FastDFS/conf

cp http.conf mime.types /etc/fdfs/

10> 在/fastdfs/storage 文件存儲目錄下創建軟連接,將其鏈接到實際存放數據的目錄

ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

11>配置 Nginx

user nobody;

worker_processes 1;

events {

worker_connections 1024;

}

http {

include mime.types;

default_type application/octet-stream;

sendfile on;

keepalive_timeout 65;

server {

listen 8888;

server_name localhost;

location ~/group([0-9])/M00 {

ngx_fastdfs_module;

}

error_page 500 502 503 504 /50x.html;

location = /50x.html {

root html;

}

A、8888 端口值是要與/etc/fdfs/storage.conf 中的 http.server_port=8888 相對應, 因為 http.server_port 默認為 8888,如果想改成 80,則要對應修改過來。
B、Storage 對應有多個 group 的情況下,訪問路徑帶 group 名,如/group1/M00/00/00/xxx, 對應的 Nginx 配置為:

     location ~/group([0-9])/M00 {
         ngx_fastdfs_module;
}

C、如查下載時如發現老報 404,將 nginx.conf 第一行 user nobody 修改為 user root 后重新啟動。

12> 防火牆中打開 Nginx 的 8888 端口

vi /etc/sysconfig/iptables

添加:

-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT

#重啟防火牆
service iptables restart

啟動 Nginx

 /usr/local/nginx/sbin/nginx
(重啟 Nginx 的命令為:/usr/local/nginx/sbin/nginx -s reload)

13>通過瀏覽器訪問測試時上傳的文件
http://ip:port/group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png

　　http://ip/group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png

JAVA API Client 詳見GitHub ：https://github.com/fzmeng/fastdfs.client

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 CentOS7搭建FastDFS+Nginx 詳細說明-CentOS7部署FastDFS+nginx模塊(包含集群方式) SpringBoot集成FastDFS+Nginx整合基於Token的防盜鏈 Ubuntu16.04系統下FastDFS+Nginx安裝配置一、CentOS7下搭建FastDFS+Nginx實現靜態圖片服務器 FastDFS+nginx搭建文件服務器並使用java客戶端進行操作 Fastdfs 部署與使用 FastDFS 單機部署指南 FastDFS 集群部署 Nginx和FastDfs完整配置過程