FastDFS搭建及java整合代碼【轉】

FastDFS軟件介紹

---

1.什么是FastDFS

FastDFS是用C語言編寫的一款開源的分布式文件系統。FastDFS為互聯網量身定制，充分考慮了冗余備份、負載均衡、線性擴容等機制，並注重高可用、高性能等指標，使用FastDFS很容易搭建一套高性能的文件服務器集群提供文件上傳、下載等服務。

2.FastDFS架構

FastDFS架構包括 Tracker server和Storage server。客戶端請求Tracker server進行文件上傳、下載，通過Tracker server調度最終由Storage server完成文件上傳和下載。Tracker server作用是負載均衡和調度，通過Tracker server在文件上傳時可以根據一些策略找到Storage server提供文件上傳服務。可以將tracker稱為追蹤服務器或調度服務器。Storage server作用是文件存儲，客戶端上傳的文件最終存儲在Storage服務器上，Storage server沒有實現自己的文件系統而是利用操作系統 的文件系統來管理文件。可以將storage稱為存儲服務器。 

2.2.1Tracker集群

FastDFS集群中的Tracker server可以有多台，Tracker server之間是相互平等關系同時提供服務，Tracker server不存在單點故障。客戶端請求Tracker server采用輪詢方式，如果請求的tracker無法提供服務則換另一個tracker。

2.2.2Storage集群

Storage集群采用了分組存儲方式。storage集群由一個或多個組構成，集群存儲總容量為集群中所有組的存儲容量之和。一個組由一台或多台存儲服務器組成，組內的Storage server之間是平等關系，不同組的Storage server之間不會相互通信，同組內的Storage server之間會相互連接進行文件同步，從而保證同組內每個storage上的文件完全一致的。一個組的存儲容量為該組內存儲服務器容量最小的那個，由此可見組內存儲服務器的軟硬件配置最好是一致的。采用分組存儲方式的好處是靈活、可控性較強。比如上傳文件時，可以由客戶端直接指定上傳到的組也可以由tracker進行調度選擇。一個分組的存儲服務器訪問壓力較大時，可以在該組增加存儲服務器來擴充服務能力（縱向擴容）。當系統容量不足時，可以增加組來擴充存儲容量（橫向擴容）。

2.2.3Storage狀態收集

Storage server會連接集群中所有的Tracker server，定時向他們報告自己的狀態，包括磁盤剩余空間、文件同步狀況、文件上傳下載次數等統計信息。

2.2.4文件上傳流程

客戶端上傳文件后存儲服務器將文件ID返回給客戶端，此文件ID用於以后訪問該文件的索引信息。文件索引信息包括：組名，虛擬磁盤路徑，數據兩級目錄，文件名。示例：group1/M00/02/44/sdfgsinsdfsdf.jpg 

2.2.5文件下載流程

tracker根據請求的文件路徑即文件ID 來快速定義文件。 
比如請求下邊的文件： 
group1/M00/00/10/agIBmlee7fOATa1MAAFw6fBcZXY841.png 
1.通過組名tracker能夠很快的定位到客戶端需要訪問的存儲服務器組是group1，並選擇合適的存儲服務器提供客戶端訪問。 
2.存儲服務器根據“文件存儲虛擬磁盤路徑”和“數據文件兩級目錄”可以很快定位到文件所在目錄，並根據文件名找到客戶端需要訪問的文件。

個人理解

1.FastDFS是一個文件存儲服務，無論是什么類型的文件都可以存儲，不僅僅是可以用作圖片服務器的。

2.上傳文件的流程就是通過nginx進行http訪問，nginx找到trackerServer,給了trackerServer一個文件，trackerServer拿到這個文件之后，根據自己的規則存儲到指定的storageServer的相應路徑下。 
同時，trackerServer會生成文件在服務器上的存儲路徑，通過nginx返回給客戶端，客戶端拿到這個路徑，在前面加上服務器地址就可以訪問這個文件了。

3.不難看出，在服務器上需要安裝三個部分：分模塊一步一步安裝就不容易出錯了

3.1 trackerServer

3.2 storageServer

3.3 nginx和fastDFS整合

安裝准備

1. 點擊下面的鏈接，下載文件並上傳到服務器，里面包含所有需要用到的軟件(nginx請參照nginx安裝教程) 
   http://106.2.1.154/group1/M00/00/10/agIBmlee9ZuAO9ZDAAmmYclEtSk827.rar

2. 安裝libevent工具包

   yum -y install libevent

3. 安裝libfastcommonv1.0.7工具包

   • 解壓縮
   • ./make.sh
   • ./make.sh install

安裝步驟

本示例為單trackerServer和storageServer,集群不做說明

---

安裝trackerServer

1. 解壓縮fastDFS_v5.05.tar.gz(tracker和storage在同一個包內，所以只需要解壓一次)

   • .make.sh
   • .make.sh install

   安裝完成后在/usr/bin/目錄下有以fdfs開頭的文件都是編譯出來的。配置文件都放到/etc/fdfs文件夾。

2. 把解壓目錄目錄下的conf文件夾下的文件都復制到/etc/fdfs下

   cp /root/FastDFS/conf /etc/fdfs

3. 配置tracker服務。修改/etc/fdfs/tracker.conf文件

   base_path=/home/yuqing/fastdfs

   將該路徑改為自己定義的路徑，該路徑必須存在，用於存放數據和日志文件。

4. 啟動tracker

   啟動：/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf

   重啟：/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

5. 設置開機自動啟動

   編輯配置：vim /etc/rc.d/rc.local

   添加命令：/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

安裝storageServer

1. 如果和trackerServer不是安裝在同一台服務器，需要重復執行上個步驟中的1和2兩個步驟。

2. 配置storage服務。修改/etc/fdfs/storage.conf文件

   base_path=/home/yuqing/fastdfs:storage服務日志存放路徑，該路徑必須存在

   store_path0=/home/yuqing/fastdfs:圖片的保存路徑，該路徑必須存在

   tracker_server=192.168.25.133:22122:指定tracker服務器的ip和端口

3. 啟動storageServer

   啟動：/usr/bin/fdfs_storaged /etc/fdfs/storage.conf

   重啟：/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

4. 設置開機自啟動

   編輯 vim /etc/rc.d/rc.local

   添加 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

5. 修改防火牆設置，添加如下規則

   修改防火牆命令：vim /etc/sysconfig/iptables

   -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT 
-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT 
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT 
   重啟防火牆：service iptables restart

接下來就可以測試我們是否搭建成功了

完成測試

---

使用自帶的test進行測試

1. 配置客戶端

   vim /etc/fdfs/client.conf：修改配置文件

   base_path=/home/fastdfs/client:客戶端日志文件保存路徑

   tracker_server=192.168.25.133:22122:指定tracker的ip和端口

2. 測試

   /usr/bin/fdfs_test /etc/fdfs/client.conf upload /root/test.jpg:在Linux內部進行圖片上傳

3. 結果

   當出現如下畫面時，說明配置成功了,其中的地址即為該文件的訪問地址。但是此時我們還不可以通過外網訪問，因為還沒有配置http服務，接下來，安裝Nginx。 
   

搭建Nginx提供Http外網訪問

使用官方提供的nginx插件fastdfs-nginx-module_v1.16.tar.gz，對nginx重新編譯。

1. 解壓插件壓縮包 （本例為root目錄下）

   tar -zxvf fastdfs-nginx-module_v1.16.tar.gz

2. 修改解壓縮包文件下的/root/fastdfs-nginx-module/src/config文件

   把其中的local去掉，如下圖： 
   
   

3. 解壓縮nginx,並進入該目錄

   tar -zxf nginx-1.8.0.tar.gz

4. 對nginx進行config

   ./configure \

   --prefix=/usr/local/nginx \

   --pid-path=/var/run/nginx/nginx.pid \

   --lock-path=/var/lock/nginx.lock \

   --error-log-path=/var/log/nginx/error.log \

   --http-log-path=/var/log/nginx/access.log \

   --with-http_gzip_static_module \

   --http-client-body-temp-path=/var/temp/nginx/client \

   --http-proxy-temp-path=/var/temp/nginx/proxy \

   --http-fastcgi-temp-path=/var/temp/nginx/fastcgi \

   --http-uwsgi-temp-path=/var/temp/nginx/uwsgi \

   --http-scgi-temp-path=/var/temp/nginx/scgi \

   --add-module=/root/fastdfs-nginx-module/src

   注意：

   最后一行--add-module=/root/fastdfs-nginx-module/src其中的/root/fastdfs-nginx-module/src 
   為fastdfs-nginx-module_v1.16.tar.gz的解壓路徑。

   上邊將臨時文件目錄指定為/var/temp/nginx，需要在/var下創建temp及nginx目錄

5. 安裝nginx

   make

   make install

6. 復制並修改nginx和fasts整合的配置文件

   cp /root/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs

   vim /etc/fdfs/mod_fastdfs.conf

   base_path=/tmp 日志存放位置

   tracker_server=192.168.25.133:22122 tracerServer的服務器地址

   url_have_group_name = true 是否包含組名group

   store_path0=/home/fastdfs/storage 圖片保存路徑，就是包含data的那個路徑，這個別弄錯了

7. 復制文件

   cp /usr/lib64/libfdfsclient.so /usr/lib/ 32位軟件

8. 修改nginx訪問配置

   server {
       listen       80;
       server_name  192.168.25.133;
       location /group1/M00/{
           #root /home/FastDFS/fdfs_storage/data;
           ngx_fastdfs_module;`
       }
   }
   

9. 設置nginx自啟動

   ① 首先編寫腳本文件

   vi /etc/init.d/nginx

   nginxd=/usr/local/nginx/sbin/nginx
   nginx_config=/usr/local/nginx/conf/nginx.conf
   nginx_pid=/var/run/nginx.pid
   RETVAL=0
   prog="nginx"
   
   . /etc/rc.d/init.d/functions
   
   . /etc/sysconfig/network
   
   [ ${NETWORKING} = "no" ] && exit 0
   [ -x $nginxd ] || exit 0
   
   start() {
   if [ -e $nginx_pid ];then
   echo "nginx already running...."
   exit 1
   fi
   echo -n $"Starting $prog: "
   daemon $nginxd -c ${nginx_config}
   RETVAL=$?
   echo
   [ $RETVAL = 0 ] && touch /var/lock/subsys/nginx
   return $RETVAL
   }
   
   stop() {
       echo -n $"Stopping $prog: "
       killproc $nginxd
       RETVAL=$?
       echo
       [ $RETVAL = 0 ] && rm -f /var/lock/subsys/nginx /var/run/nginx.pid
   }
   
   reload() {
       echo -n $"Reloading $prog: "
       killproc $nginxd -HUP
       RETVAL=$?
       echo
   }
   
   case "$1" in
   start)
       start
       ;;
   stop)
       stop
       ;;
   reload)
       reload
       ;;
   restart)
       stop
       start
       ;;
   status)
       status $prog
       RETVAL=$?
       ;;
   *)
   echo $"Usage: $prog {start|stop|restart|reload|status|help}"
   exit 1
   esac
   exit $RETVAL
   

   wq保存退出

   ② 設置文件的訪問權限

   `chmod a+x /etc/init.d/nginx`
   (a+x ==> all user can execute  所有用戶可執行)
   

   ③ nginx狀態、啟動、重啟、停止

   /etc/init.d/nginx status 查看狀態

   /etc/init.d/nginx start 啟動

   /etc/init.d/nginx stop 停止

   /etc/init.d/nginx restart 重啟

   ④加入到rc.local文件中

   vim /etc/rc.local

   /etc/init.d/nginx start 下次系統重啟后，nginx會自啟動

10. 現在就可以用外網訪問已經上傳的圖片了

    我們可以用內部測試test工具來進行上傳圖片（返回本文檔第一部分查看），將返回的結果復制到瀏覽器，就可以訪問上傳的文件了。圖片的話會直接在瀏覽器打開。

    終於搭建好了，不過還沒完，還要和Java進行結合，才能利用起來。

Java整合+工具類

---

官方提供了jar包，已經在教程開始的文件中了，下載下來，放到項目中去，接下來就看具體的java代碼流程了。

編寫了工具類的word使用說明書，更加詳細，下載地址如下 
http://106.2.1.154/group1/M00/00/10/agIBmlefHwaAePorAAG2DpjKZy840.docx

1. 使用java基礎代碼操作的流程

   java

   @Test
   public void testUpload() throws Exception {
       // 1、把FastDFS提供的jar包添加到工程中
       // 2、初始化全局配置。加載一個配置文件。
       ClientGlobal.init("D:\\workspaces-itcast\\JaveEE18\\taotao- manager\\taotao-manager-web\\src\\main\\resources\\properties\\client.conf");
       // 3、創建一個TrackerClient對象。
       TrackerClient trackerClient = new TrackerClient();
       // 4、創建一個TrackerServer對象。
       TrackerServer trackerServer = trackerClient.getConnection();
       // 5、聲明一個StorageServer對象，null。
       StorageServer storageServer = null;
       // 6、獲得StorageClient對象。
       StorageClient storageClient = new StorageClient(trackerServer,  storageServer);
       // 7、直接調用StorageClient對象方法上傳文件即可。
       String[] strings = storageClient.upload_file("D:\\Documents\    \Pictures\\images\\2f2eb938943d.jpg", "jpg", null);
       for (String string : strings) {
           System.out.println(string);
       }
   }
   

   配置文件Client.conf

   tracker_server=192.168.25.133:22122

2. 使用工具類上傳

   測試方法

   @Test
   public void testFastDfsClient() throws Exception {
       FastDFSClient client = new FastDFSClient("D:\\workspaces-itcast\\JaveEE18\\taotao-manager\\taotao-manager-web\\src\\main\\resources\\properties\\client.conf");
       String uploadFile = client.uploadFile("D:\\Documents\\Pictures\\images\\200811281555127886.jpg", "jpg");
       System.out.println(uploadFile);//返回的是文件的
   }
   

   工具類代碼

   package com.maxrocky.tools;
   
   import java.io.File;
   import java.util.HashMap;
   import java.util.Map;
   
   import org.csource.common.NameValuePair;
   import org.csource.fastdfs.ClientGlobal;
   import org.csource.fastdfs.StorageClient1;
   import org.csource.fastdfs.StorageServer;
   import org.csource.fastdfs.TrackerClient;
   import org.csource.fastdfs.TrackerServer;
   
   public class FastDFSClient {
   
   private TrackerClient trackerClient = null;
   private TrackerServer trackerServer = null;
   private StorageServer storageServer = null;
   private StorageClient1 storageClient = null;
   
   public FastDFSClient(String conf) throws Exception {
       if (conf.contains("classpath:")) {
           conf = conf.replace("classpath:", this.getClass().getResource("/").getPath());
       }
       ClientGlobal.init(conf);
       trackerClient = new TrackerClient();
       trackerServer = trackerClient.getConnection();
       storageServer = null;
       storageClient = new StorageClient1(trackerServer,   storageServer);
   }
   
   /**
   * 上傳文件方法
   * <p>Title: uploadFile</p>
   * <p>Description: </p>
   * @param fileName 文件全路徑
   * @param extName 文件擴展名，不包含（.）
   * @param metas 文件擴展信息
   * @return
   * @throws Exception
   */
   public String uploadFile(String fileName, String extName, NameValuePair[] metas) throws Exception {
       String result = storageClient.upload_file1(fileName, extName, metas);
       return result;
   }
   
   
   public String uploadFile(String fileName) throws Exception {
       return uploadFile(fileName, null, null);
   }
   
   public String uploadFile(String fileName, String extName) throws Exception {
       return uploadFile(fileName, extName, null);
   }
   
   /**
   * 上傳文件方法
   * <p>Title: uploadFile</p>
   * <p>Description: </p>
   * @param fileContent 文件的內容，字節數組
   * @param extName 文件擴展名
   * @param metas 文件擴展信息
   * @return
   * @throws Exception
   */
   public String uploadFile(byte[] fileContent, String extName, NameValuePair[] metas) throws Exception {
       String result = storageClient.upload_file1(fileContent, extName, metas);
       return result;
   }
   
   public String uploadFile(byte[] fileContent) throws Exception {
       return uploadFile(fileContent, null, null);
   }
   
    public String uploadFile(byte[] fileContent, String extName) throws Exception {
       return uploadFile(fileContent, extName, null);
    }
   }

   
   
   來源： http://blog.csdn.net/kingboyworld/article/details/52299602

來自為知筆記(Wiz)