CentOS7搭建FastDFS+Nginx

1. FastDFS 介紹

FastDFS是一個開源的分布式文件系統，她對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。特別適合以文件為載體的在線服務，如相冊網站、視頻網站等等。

FastDFS服務端有兩個角色：跟蹤器（tracker）和存儲節點（storage）。跟蹤器主要做調度工作，在訪問上起負載均衡的作用。

存儲節點存儲文件，完成文件管理的所有功能：存儲、同步和提供存取接口，FastDFS同時對文件的meta data進行管理。所謂文件的meta data就是文件的相關屬性，以鍵值對（key value pair）方式表示，如：width=1024，其中的key為width，value為1024。文件meta data是文件屬性列表，可以包含多個鍵值對。

FastDFS系統結構如下圖所示：

 

 

 

 

 

跟蹤器和存儲節點都可以由一台或多台服務器構成。跟蹤器和存儲節點中的服務器均可以隨時增加或下線而不會影響線上服務。其中跟蹤器中的所有服務器都是對等的，可以根據服務器的壓力情況隨時增加或減少。

為了支持大容量，存儲節點（服務器）采用了分卷（或分組）的組織方式。存儲系統由一個或多個卷組成，卷與卷之間的文件是相互獨立的，所有卷 的文件容量累加就是整個存儲系統中的文件容量。一個卷可以由一台或多台存儲服務器組成，一個卷下的存儲服務器中的文件都是相同的，卷中的多台存儲服務器起 到了冗余備份和負載均衡的作用。

在卷中增加服務器時，同步已有的文件由系統自動完成，同步完成后，系統自動將新增服務器切換到線上提供服務。

當存儲空間不足或即將耗盡時，可以動態添加卷。只需要增加一台或多台服務器，並將它們配置為一個新的卷，這樣就擴大了存儲系統的容量。
FastDFS中的文件標識分為兩個部分：卷名和文件名，二者缺一不可。

 

 

 

 

上傳文件交互過程：

1. client詢問tracker上傳到的storage，不需要附加參數；
2. tracker返回一台可用的storage；
3. client直接和storage通訊完成文件上傳。

 

 

 

 

下載文件交互過程：

1. client詢問tracker下載文件的storage，參數為文件標識（卷名和文件名）；
2. tracker返回一台可用的storage；
3. client直接和storage通訊完成文件下載。

需要說明的是，client為使用FastDFS服務的調用方，client也應該是一台服務器，它對tracker和storage的調用均為服務器間的調用。

2. FastDFS單機部署

2.1 准備

系統：
CentOS7

安裝包：

[root@SUNQFASTDFS01 fastdfs]# pwd
/tmp/fastdfs
[root@SUNQFASTDFS01 fastdfs]# ll
total 1896
-rw-r--r-- 1 root root  22192 Dec  8 14:29 fastdfs-nginx-module-master.zip
-rw-r--r-- 1 root root 425467 Dec  8 14:25 fastdfs-master.zip
-rw-r--r-- 1 root root 478937 Dec  8 14:27 libfastcommon-master.zip
-rw-r--r-- 1 root root 988415 Aug  8 23:11 nginx-1.13.4.tar.gz
[root@SUNQFASTDFS01 fastdfs]# 

 

2.2 安裝依賴包和開始工具

#安裝依賴軟件,安裝FastDFS依賴libevent庫

yum -y install gcc gcc-c++ libstdc++-devel pcre-devel zlib-devel wget make libevent 

 yum -y groupinstall 'Development Tools'

2.3 安裝libfastcommon

cd /tmp/fastdfs/
unzip libfastcommon-master.zip
mv libfastcommon-master /usr/local/libfastcommon
cd /usr/local/libfastcommon
./make.sh
./make.sh install

<font color=red>注意在編譯這個步驟會出現一個錯誤</font>


輸入：yum -y install zlib zlib-devel pcre pcre-devel gcc gcc-c++ openssl openssl-devel libevent libevent-devel perl unzip net-tools wget
下載缺少的東西

安裝后的截圖：

 

libfastcommon安裝好后會在/usr/lib64 目錄下生成  libfastcommon.so 庫文件；

　　

　　注意：由於FastDFS程序引用usr/lib目錄所以需要將/usr/lib64下的庫文件拷貝至/usr/lib下。

cp libfastcommon.so /usr/lib

 

2.4 安裝fastdfs

cd /tmp/fastdfs
unzip fastdfs-master.zip
mv fastdfs-master /usr/local/fastdfs
./make.sh
./make.sh install
[root@SUNQFASTDFS01 fastdfs]# ls -l /etc/fdfs/
total 40
-rw-r--r-- 1 root root 1461 Jan  8 16:50 client.conf.sample
-rw-r--r-- 1 root root 7927 Jan  8 16:50 storage.conf.sample
-rw-r--r-- 1 root root  105 Jan  8 16:50 storage_ids.conf.sample
-rw-r--r-- 1 root root 7389 Jan  8 16:50 tracker.conf.sample
[root@SUNQFASTDFS01 fastdfs]# 

 

安裝好之后，在/usr/bin目錄下，可以看fdfs開頭的命令工具

FastDFS安裝完成之后，所有配置文件在/etc/fdfs目錄下，
tracker需要tracker.conf配置文件，
storage需要storage.conf配置文件。

2.5 配置tracker

cd /etc/fdfs/
cp tracker.conf.sample tracker.conf
vim tracker.conf

 

修改base_path（文件存儲路徑）為/opt/fastdfs

# the base path to store data and log files base_path=/opt/fastdfs

# 啟用配置文件 disabled=false # 設置tracker的端口號 port=22122 # 設置tracker的數據文件和日志目錄（需手動創建） base_path=/opt/fastdfs # 設置http端口號 http.server_port=8080

使用fdfs_trackerd /etc/fdfs/tracker.conf start嘗試啟動tracker

檢查是否啟動

[root@SUNQFASTDFS01 fdfs]# fdfs_trackerd /etc/fdfs/tracker.conf start [root@SUNQFASTDFS01 fdfs]# ps -ef|grep tracker.conf root 3438 1 0 17:01 ? 00:00:00 fdfs_trackerd /etc/fdfs/tracker.conf start root 3446 2670 0 17:01 pts/0 00:00:00 grep --color=auto tracker.conf [root@SUNQFASTDFS01 fdfs]# netstat -pln|grep fdfs tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN 3438/fdfs_trackerd [root@SUNQFASTDFS01 fdfs]# tail /opt/fastdfs/logs/trackerd.log [2018-01-08 17:01:08] INFO - FastDFS v5.12, base_path=/opt/fastdfs, run_by_group=, run_by_user=, connect_timeout=30s, network_timeout=60s, port=22122, bind_addr=, max_connections=256, accept_threads=1, work_threads=4, min_buff_size=8192, max_buff_size=131072, store_lookup=2, store_group=, store_server=0, store_path=0, reserved_storage_space=10.00%, download_server=0, allow_ip_count=-1, sync_log_buff_interval=10s, check_active_interval=120s, thread_stack_size=64 KB, storage_ip_changed_auto_adjust=1, storage_sync_file_max_delay=86400s, storage_sync_file_max_time=300s, use_trunk_file=0, slot_min_size=256, slot_max_size=16 MB, trunk_file_size=64 MB, trunk_create_file_advance=0, trunk_create_file_time_base=02:00, trunk_create_file_interval=86400, trunk_create_file_space_threshold=20 GB, trunk_init_check_occupying=0, trunk_init_reload_from_binlog=0, trunk_compress_binlog_min_interval=0, use_storage_id=0, id_type_in_filename=ip, storage_id_count=0, rotate_error_log=0, error_log_rotate_time=00:00, rotate_error_log_size=0, log_file_keep_days=0, store_slave_file_use_link=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s

2.6 配置storage

cd /etc/fdfs/ cp storage.conf.sample storage.conf vim storage.conf

主要修改base_path，store_path以及tracker的連接地址以及storage的http服務端口配置等。

group_name=group1                   # 組名（第一組為group1，第二組為group2，依次類推...） base_path=/opt/fastdfs # 數據和日志文件存儲根目錄 store_path0=/opt/fastdfs # 第一個存儲目錄，第二個存儲目錄起名為：store_path1=xxx，其它存儲目錄名依次類推... store_path_count=1 # 存儲路徑個數，需要和store_path個數匹配 tracker_server=172.30.47.156:22122 # tracker服務器IP和端口，有多個則添加多行

檢查是否啟動

[root@SUNQFASTDFS01 fdfs]# fdfs_storaged /etc/fdfs/storage.conf start [root@SUNQFASTDFS01 fdfs]# netstat -unltp|grep fdfs tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN 3438/fdfs_trackerd tcp 0 0 0.0.0.0:23000 0.0.0.0:* LISTEN 4571/fdfs_storaged [root@SUNQFASTDFS01 fdfs]# tail /opt/fastdfs/logs/storaged.log mkdir data path: FA ... mkdir data path: FB ... mkdir data path: FC ... mkdir data path: FD ... mkdir data path: FE ... mkdir data path: FF ... data path: /opt/fastdfs/data, mkdir sub dir done. [2018-01-09 10:15:08] INFO - file: storage_param_getter.c, line: 191, use_storage_id=0, id_type_in_filename=ip, storage_ip_changed_auto_adjust=1, store_path=0, reserved_storage_space=10.00%, use_trunk_file=0, slot_min_size=256, slot_max_size=16 MB, trunk_file_size=64 MB, trunk_create_file_advance=0, trunk_create_file_time_base=02:00, trunk_create_file_interval=86400, trunk_create_file_space_threshold=20 GB, trunk_init_check_occupying=0, trunk_init_reload_from_binlog=0, trunk_compress_binlog_min_interval=0, store_slave_file_use_link=0 [2018-01-09 10:15:08] INFO - file: storage_func.c, line: 257, tracker_client_ip: 172.30.47.156, my_server_id_str: 172.30.47.156, g_server_id_in_filename: -1674633556 [2018-01-09 10:15:08] INFO - file: tracker_client_thread.c, line: 310, successfully connect to tracker server 172.30.47.156:22122, as a tracker client, my ip is 172.30.47.156 [root@SUNQFASTDFS01 fdfs]# 

在任一存儲節點上使用如下命令查看集群的狀態信息：
fdfs_monitor /etc/fdfs/storage.conf

如果出現ip_addr = Active, 則表明storage服務器已經登記到tracker服務器，如下：

server_count=1, server_index=0 tracker server is 172.30.47.156:22122 group count: 1 Group 1: group name = group1 disk total space = 50871 MB disk free space = 40771 MB trunk free space = 0 MB storage server count = 1 active server count = 1 storage server port = 23000 storage HTTP port = 8888 store path count = 1 subdir count per path = 256 current write server index = 0 current trunk file id = 0 Storage 1: id = 172.30.47.156 ip_addr = 172.30.47.156 (SUNQFASTDFS01) ACTIVE

2.7 在storage上安裝nginx

<font color="red">注意</font>：
fastdfs-nginx-module模塊只需要安裝到storage上。

cd /tmp/fastdfs unzip fastdfs-nginx-module-master.zip mv fastdfs-nginx-module-master /usr/local/fastdfs-nginx-module tar -zxf nginx-1.13.4.tar.gz cd nginx-1.13.4 ./configure --prefix=/usr/local/nginx --add-module=/usr/local/fastdfs-nginx-module/src/

沒有報錯則執行下一步：

make
make install

如下結果則表示安裝成功

[root@SUNQFASTDFS01 nginx-1.13.4]# /usr/local/nginx/sbin/nginx -V nginx version: nginx/1.13.4 built by gcc 4.8.5 20150623 (Red Hat 4.8.5-16) (GCC) configure arguments: --prefix=/usr/local/nginx --add-module=/usr/local/fastdfs-nginx-module/src/

2.8 配置client

cd /etc/fdfs/ cp client.conf.sample client.conf vim client.conf

base_path=/opt/fastdfs              # 數據和日志文件存儲根目錄 tracker_server=172.30.47.156:22122 # tracker服務器IP和端口，有多個按行添加 http.tracker_server_port=8080 # 服務端IP和端口號

[root@SUNQFASTDFS01 data]# ls /tmp/test01.png /tmp/test01.png [root@SUNQFASTDFS01 data]# fdfs_upload_file /etc/fdfs/client.conf /tmp/test01.png group1/M00/00/00/rB4vnFpUPN-Adut0AANMVnJruQg458.png

2.9 配置fastdfs-nginx-module和nginx

cd /etc/fdfs/ cp /usr/local/fastdfs-nginx-module/src/mod_fastdfs.conf . vim mod_fastdfs.conf

一般只需改動以下幾個參數即可：

base_path=/opt/fastdfs            # 保存日志目錄 tracker_server=172.30.47.156:22122 # tracker服務器IP和端口，有多個按行添加 storage_server_port=23000 # storage服務器的端口號 group_name=group1 # 當前服務器的group名 url_have_group_name = true # 文件url中是否有group名 store_path_count=1 # 存儲路徑個數，需要和store_path個數匹配 store_path0=/opt/fastdfs # 存儲路徑 group_count = 0 # 設置組的個數，設置為0則為單組

cp /usr/local/fastdfs/conf/http.conf /usr/local/fastdfs/conf/mime.types /etc/fdfs/ vim /usr/local/nginx/conf/nginx.conf

內容：

# nginx.conf user nobody; worker_processes 8; error_log logs/info.log info; #pid logs/nginx.pid; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' # '$status $body_bytes_sent "$http_referer" ' # '"$http_user_agent" "$http_x_forwarded_for"'; #access_log logs/access.log main; sendfile on; #tcp_nopush on; #keepalive_timeout 0; keepalive_timeout 65; #設定請求緩沖 server_names_hash_bucket_size 128; client_header_buffer_size 32k; large_client_header_buffers 4 32k; client_max_body_size 300m; tcp_nopush on; tcp_nodelay on; server_tokens off; client_body_buffer_size 512k; proxy_connect_timeout 20; proxy_send_timeout 60; proxy_read_timeout 20; proxy_buffer_size 16k; proxy_buffers 4 64k; proxy_busy_buffers_size 128k; proxy_temp_file_write_size 128k; client_header_timeout 3m; client_body_timeout 3m; send_timeout 3m; gzip on; # 開啟gzip，節省帶寬 gzip_min_length 1100; gzip_buffers 4 8k; gzip_types text/plain text/css application/x-javascript image/bmp application/javascript; output_buffers 1 32k; postpone_output 1460; limit_rate_after 3m; # 限速模塊，前3M下載時不限速 limit_rate 512k; # 限速模塊 include vhost/*.conf; }

vim /usr/local/nginx/conf/vhost/storage.conf

內容：

# storage.conf server { listen 8080 ; server_name 172.30.47.156 ; location / { root html; index index.html index.htm; } location ~/group[0-9]/M00 { alias /opt/fastdfs/data/; ngx_fastdfs_module; } }

啟動nginx：

/usr/local/nginx/sbin/nginx

然后訪問上文件中生成的字符串拼接的url：
http://172.30.47.156:8080/group1/M00/00/00/rB4vnFpUPN-Adut0AANMVnJruQg458.png