服務器規划：
VIP :10.100.139.129
跟蹤服務器1【主機】（Tracker Server）：10.100.139.121
跟蹤服務器2【備機】（Tracker Server）：10.100.138.180
存儲服務器1（Storage Server）：10.100.139.121
存儲服務器2（Storage Server）：10.100.138.180
存儲服務器3（Storage Server）：10.100.138.153
操作系統：CentOS7
用戶：root
數據存儲目錄：
| 應用 |
安裝目錄 |
| Nginx |
/opt/nginx |
| Fastdfs |
/usr/bin |
| Keepalived |
/usr/local |
| 安裝包 |
/home/yxgly/resources è /usr/local/src |
| Tracker_data |
/fastdfs/tracker |
| Storage_data |
/fastdfs/storage |
安裝包：
- FastDFS_v5.08.tar.gz：FastDFS源碼
- libfastcommon-master.zip：（從 FastDFS 和 FastDHT 中提取出來的公共 C 函數庫）
- fastdfs-nginx-module-master.zip：storage節點http服務nginx模塊
- nginx-1.10.0.tar.gz：Nginx安裝包
- ngx_cache_purge-2.3.tar.gz：圖片緩存清除Nginx模塊（集群環境會用到）
下載完成后，將壓縮包解壓到/usr/local/src目錄下
一、所有tracker和storage節點都執行如下操作
1、安裝所需的依賴包
yum install make cmake gcc gcc-c++
2、安裝libfatscommon
cd /usr/local/src
#安裝unzip 命令： yum install -y unzip zip
unzip libfastcommon-master.zip
cd libfastcommon-master
## 編譯、安裝
./make.sh
./make.sh install
3、安裝FastDFS
#yum -y install zlib zlib-devel pcre pcre-devel gcc gcc-c++ openssl openssl-devel libevent libevent-devel perl unzip net-tools wget
cd /usr/local/src
tar -xzvf FastDFS_v5.08.tar.gz
cd FastDFS
./make.sh
./make.sh install
采用默認安裝方式，相應的文件與目錄檢查如下：
1> 服務腳本：
/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_trackerd
2> 配置文件（示例配置文件）：
ll /etc/fdfs/
-rw-r--r-- 1 root root 1461 1月 4 14:34 client.conf.sample
-rw-r--r-- 1 root root 7927 1月 4 14:34 storage.conf.sample
-rw-r--r-- 1 root root 7200 1月 4 14:34 tracker.conf.sample
3> 命令行工具（/usr/bin目錄下）
ll /usr/bin/fdfs_*
-rwxr-xr-x 1 root root 260584 1月 4 14:34 fdfs_appender_test
-rwxr-xr-x 1 root root 260281 1月 4 14:34 fdfs_appender_test1
-rwxr-xr-x 1 root root 250625 1月 4 14:34 fdfs_append_file
-rwxr-xr-x 1 root root 250045 1月 4 14:34 fdfs_crc32
-rwxr-xr-x 1 root root 250708 1月 4 14:34 fdfs_delete_file
-rwxr-xr-x 1 root root 251515 1月 4 14:34 fdfs_download_file
-rwxr-xr-x 1 root root 251273 1月 4 14:34 fdfs_file_info
-rwxr-xr-x 1 root root 266401 1月 4 14:34 fdfs_monitor
-rwxr-xr-x 1 root root 873233 1月 4 14:34 fdfs_storaged
-rwxr-xr-x 1 root root 266952 1月 4 14:34 fdfs_test
-rwxr-xr-x 1 root root 266153 1月 4 14:34 fdfs_test1
-rwxr-xr-x 1 root root 371336 1月 4 14:34 fdfs_trackerd
-rwxr-xr-x 1 root root 251651 1月 4 14:34 fdfs_upload_appender
-rwxr-xr-x 1 root root 252781 1月 4 14:34 fdfs_upload_file
二、配置tracker服務器
1、復制tracker樣例配置文件，並重命名
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
2、修改tracker配置文件
vim /etc/fdfs/tracker.conf
# 修改的內容如下：
disabled=false # 啟用配置文件
port=22122 # tracker服務器端口（默認22122）
base_path=/fastdfs/tracker # 存儲日志和數據的根目錄
store_group=group1
其它參數保留默認配置， 具體配置解釋可參考官方文檔說明：http://bbs.chinaunix.net/thread-1941456-1-1.html
3、創建base_path指定的目錄
mkdir -p /fastdfs/tracker
4、防火牆中打開tracker服務器端口（ 默認為 22122）
vi /etc/sysconfig/iptables
附加：若/etc/sysconfig 目錄下沒有iptables文件可隨便寫一條iptables命令配置個防火牆規則：如：
iptables -P OUTPUT ACCEPT
然后用命令：service iptables save 進行保存，默認就保存到 /etc/sysconfig/iptables 文件里。這時既有了這個文件。防火牆也可以啟動了。接下來要寫策略，也可以直接寫在/etc/sysconfig/iptables 里了。
添加如下端口行：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT
重啟防火牆
service iptables restart
5、啟動tracker服務器
/etc/init.d/fdfs_trackerd start
初次啟動，會在/fastdfs/tracker目錄下生成logs、data兩個目錄。
drwxr-xr-x 2 root root 4096 1月 4 15:00 data
drwxr-xr-x 2 root root 4096 1月 4 14:38 logs
檢查FastDFS Tracker Server是否啟動成功：
ps -ef | grep fdfs_trackerd
三、配置storage服務器
1、復制storage樣例配置文件，並重命名
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
2、編輯配置文件
vi /etc/fdfs/storage.conf
# 修改的內容如下:
disabled=false # 啟用配置文件
port=23000 # storage服務端口
base_path=/fastdfs/storage # 數據和日志文件存儲根目錄
store_path0=/fastdfs/storage # 第一個存儲目錄
tracker_server=10.100.139.121:22122 # tracker服務器IP和端口
tracker_server=10.100.138.180:22122 #tracker服務器IP2和端口
http.server_port=8888 # http訪問文件的端口
其它參數保留默認配置， 具體配置解釋可參考官方文檔說明：http://bbs.chinaunix.net/thread-1941456-1-1.html
3、創建基礎數據目錄
mkdir -p /fastdfs/storage
4、防火牆中打開storage服務器端口（ 默認為 23000）
vi /etc/sysconfig/iptables
#添加如下端口行：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT
重啟防火牆
service iptables restart
注：集群環境下
追蹤+存儲節點操作步驟一、步驟二、步驟三
存儲節點只做存儲則只操作步驟三
5、啟動storage服務器
/etc/init.d/fdfs_storaged start
初次啟動，會在/fastdfs/storage目錄下生成logs、data兩個目錄。
drwxr-xr-x 259 root root 4096 Mar 31 06:22 data
drwxr-xr-x 2 root root 4096 Mar 31 06:22 logs
檢查FastDFS Tracker Server是否啟動成功：
[root@gyl-test-t9 ~]# ps -ef | grep fdfs_storaged
root 1336 1 3 06:22 ? 00:00:01 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
root 1347 369 0 06:23 pts/0 00:00:00 grep fdfs_storaged
四、文件上傳測試（ip01）
1、修改Tracker服務器客戶端配置文件
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
# 修改以下配置，其它保持默認
base_path=/fastdfs/tracker
tracker_server=10.100.139.121:22122 # tracker服務器IP和端口
tracker_server=10.100.138.180:22122 #tracker服務器IP2和端口
2、執行文件上傳命令
#/usr/local/src/test.png 是需要上傳文件路徑
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/test.png
返回文件ID號：group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png
（能返回以上文件ID，說明文件已經上傳成功）
Or :
/usr/bin/fdfs_test /etc/fdfs/client.conf upload client.conf
五、在所有storage節點安裝fastdfs-nginx-module
1、fastdfs-nginx-module 作用說明
FastDFS 通過 Tracker 服務器,將文件放在 Storage 服務器存儲,但是同組存儲服務器之間需要進入 文件復制,有同步延遲的問題。假設 Tracker 服務器將文件上傳到了 ip01,上傳成功后文件 ID 已經返回給客戶端。此時 FastDFS 存儲集群機制會將這個文件同步到同組存儲 ip02,在文件還 沒有復制完成的情況下,客戶端如果用這個文件 ID 在 ip02 上取文件,就會出現文件無法訪問的 錯誤。而 fastdfs-nginx-module 可以重定向文件連接到源服務器取文件,避免客戶端由於復制延遲導致的 文件無法訪問錯誤。(解壓后的 fastdfs-nginx-module 在 nginx 安裝時使用)
2、解壓 fastdfs-nginx-module_v1.16.tar.gz
cd /usr/local/src
tar -xzvf fastdfs-nginx-module_v1.16.tar.gz
3、修改 fastdfs-nginx-module 的 config 配置文件
cd fastdfs-nginx-module/src
vi config
將
CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"
修改為:
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
4、安裝Nginx上傳當前的版本 Nginx(nginx-1.10.0.tar.gz)到/usr/local/src 目錄
5、安裝編譯 Nginx 所需的依賴包
yum install gcc gcc-c++ make automake autoconf libtool pcre* zlib openssl openssl-devel
6、編譯安裝 Nginx (添加 fastdfs-nginx-module 模塊)
cd /usr/local/src/
tar -zxvf nginx-1.10.0.tar.gz
tar –zxvf ngx_cache_purge_2.3.tar.gz
cd nginx-1.10.0
./configure --prefix=/opt/nginx --add-module=/usr/local/src/fastdfs-nginx-module/src --add-module=/usr/local/src/ngx_cache_purge-2.3
make && make install
比對 nginx下Makefile:(可忽略)
default: build
clean:
rm -rf Makefile objs
build:
$(MAKE) -f objs/Makefile
install:
$(MAKE) -f objs/Makefile install
modules:
$(MAKE) -f objs/Makefile modules
upgrade:
/usr/local/nginx/sbin/nginx -t
kill -USR2 'cat /usr/local/nginx/logs/nginx.pid'
sleep 1
test -f /usr/local/nginx/logs/nginx.pid.oldbin
kill -QUIT 'cat /usr/local/nginx/logs/nginx.pid.oldbin'
8.復制 fastdfs-nginx-module 源碼中的配置文件到/etc/fdfs 目錄,並修改
cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vi /etc/fdfs/mod_fastdfs.conf
修改以下配置:
connect_timeout=10
base_path=/tmp
tracker_server=10.100.139.121:22122 # tracker服務器IP和端口
tracker_server=10.100.138.180:22122 #tracker服務器IP2和端口
url_have_group_name=true #url中包含group名稱
#在最后添加 [group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/fastdfs/storage
9、復制 FastDFS 的部分配置文件到/etc/fdfs 目錄
cd /usr/local/src/FastDFS/conf
cp http.conf mime.types /etc/fdfs/
10、在/fastdfs/storage 文件存儲目錄下創建軟連接,將其鏈接到實際存放數據的目錄
ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00
11、配置 Nginx
user nobody;
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
server {
listen 8888;
server_name 10.100.139.121;
location ~/group1/M00 {
ngx_fastdfs_module;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
upstream storage_server_group1{
server 10.100.139.121:8888 weight=10;
server 10.100.138.180:8888 weight=10;
server 10.100.138.153:8888 weight=10;
}
}
A、8888 端口值是要與/etc/fdfs/storage.conf 中的 http.server_port=8888 相對應, 因為 http.server_port 默認為 8888,如果想改成 80,則要對應修改過來。
B、Storage 對應有多個 group 的情況下,訪問路徑帶 group 名,如/group1/M00/00/00/xxx, 對應的 Nginx 配置為:
location ~/group([0-9])/M00 {
ngx_fastdfs_module;
}
C、如查下載時如發現老報 404,將 nginx.conf 第一行 user nobody 修改為 user root 后重新啟動。
12、防火牆中打開 Nginx 的 8888 端口
vi /etc/sysconfig/iptables
添加:
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT
#重啟防火牆
service iptables restart
啟動 Nginx
若出現圖中錯誤：
解決方案: /opt/nginx/sbin/nginx -c /usr/local/src/nginx-1.10.0/conf/nginx.conf
錯誤2：
解決方案2：ln -s /usr/local/lib/libpcre.so.1 /lib64
/opt/nginx/sbin/nginx
(重啟 Nginx 的命令為:/opt/nginx/sbin/nginx -s reload)
六、驗證：通過瀏覽器訪問測試時上傳的文件
切換追蹤服務器IP同樣可以訪問
http://10.100.139.121:8888/group1/M00/00/00/CmSKtFj13gyAen4oAAH0yXi-HW8296.png
http://10.100.138.180:8888/group1/M00/00/00/CmSKtFj13gyAen4oAAH0yXi-HW8296.png
七、客戶端配置
1、項目pom.xml引入
<dependency>
<groupId>fastdfs_client</groupId>
<artifactId>fastdfs_client</artifactId>
<version>0.0.2-SNAPSHOT</version>
</dependency>
2、resources下加入文件fastdfs_client.conf
注意修改ip0為tracker服務器Ip地址
connect_timeout = 2
network_timeout = 30
charset = ISO8859-1
http.tracker_http_port = 8888
http.anti_steal_token = no
tracker_server =10.100.139.121:22122
tracker_server=10.100.138.180:22122
default_group_name=group1