分布式學習之搭建文件服務器

一、傳統環境下文件上傳

傳統項目中，可以在web項目中添加一個文件夾來存放上傳的圖片。例如在工程的根目錄WebRoot下創建一個images文件夾。把圖片存放在此文件夾中就可以直接使用在工程中引用。

優點：引用方便，便於管理

缺點：

1、如果是分布式環境圖片引用會出現問題。

2、圖片的下載會給服務器增加額外的壓力

 傳統項目在tomcat集群環境的問題：

 

二、分布式環境如何處理文件

分布式環境一般都有一個專門的圖片服務器存放圖片。

我們使用虛擬機搭建一個專門的服務器來存放圖片。在此服務器上安裝一個nginx來提供http服務，安裝一個ftp服務器來提供圖片上傳服務。

 環境：

Linux：CentOS6.5  64位

Nginx：1.8.0  參考http://www.cnblogs.com/jalja/p/6104325.html

Vsftpd:需要在線安裝。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　Linux安裝ftp組件

1 、安裝vsftpd組件

安裝完后，有/etc/vsftpd/vsftpd.conf 文件，是vsftp的配置文件。

[root@bogon ~]# yum -y install vsftpd

2 、添加一個ftp用戶

此用戶就是用來登錄ftp服務器用的。

[root@bogon ~]# useradd ftpuser

這樣一個用戶建完，可以用這個登錄，記得用普通登錄不要用匿名了。登錄后默認的路徑為 /home/ftpuser.     

3、給ftp用戶添加密碼。

[root@bogon ~]# passwd ftpuser

輸入兩次密碼后修改密碼。

4   防火牆開啟21端口

因為ftp默認的端口為21，而centos默認是沒有開啟的，所以要修改iptables文件

[root@bogon ~]# vim /etc/sysconfig/iptables

在行上面有22 -j ACCEPT 下面另起一行輸入跟那行差不多的，只是把22換成21，然后：wq保存。

還要運行下,重啟iptables

[root@bogon ~]# service iptables restart

5   修改selinux

外網是可以訪問上去了，可是發現沒法返回目錄（使用ftp的主動模式，被動模式還是無法訪問），也上傳不了，因為selinux作怪了。

修改selinux：

執行以下命令查看狀態：

[root@bogon ~]# getsebool -a | grep ftp 

allow_ftpd_anon_write --> off

allow_ftpd_full_access --> off

allow_ftpd_use_cifs --> off

allow_ftpd_use_nfs --> off

ftp_home_dir --> off

ftpd_connect_db --> off

ftpd_use_passive_mode --> off

httpd_enable_ftp_server --> off

tftp_anon_write --> off

[root@bogon ~]#

執行上面命令，再返回的結果看到兩行都是off，代表，沒有開啟外網的訪問

[root@bogon ~]# setsebool -P allow_ftpd_full_access on

[root@bogon ~]# setsebool -P ftp_home_dir on

這樣應該沒問題了（如果，還是不行，看看是不是用了ftp客戶端工具用了passive模式訪問了，如提示Entering Passive mode，就代表是passive模式，默認是不行的，因為ftp passive模式被iptables擋住了，下面會講怎么開啟，如果懶得開的話，就看看你客戶端ftp是否有port模式的選項，或者把passive模式的選項去掉。如果客戶端還是不行，看看客戶端上的主機的電腦是否開了防火牆，關吧）

FileZilla的主動、被動模式修改：

菜單：編輯→設置

 

6   關閉匿名訪問

修改/etc/vsftpd/vsftpd.conf文件：

# READ THIS: This example file is NOT an exhaustive list of vsftpd options.
# Please read the vsftpd.conf.5 manual page to get a full idea of vsftpd's
# capabilities.
#
# Allow anonymous FTP? (Beware - allowed by default if you comment this out).
anonymous_enable=NO #將YES改為NO
#
# Uncomment this to allow local users to log in.
local_enable=YES
#
# Uncomment this to enable any form of FTP write command.
write_enable=YES
#
# Default umask for local users is 077. You may wish to change this to 022,
# if your users expect that (022 is used by most other ftpd's)
local_umask=022
#

重啟ftp服務：

[root@bogon ~]# service vsftpd restart

7   開啟被動模式

默認是開啟的，但是要指定一個端口范圍，打開vsftpd.conf文件，在后面加上

pasv_min_port=30000

pasv_max_port=30999

表示端口范圍為30000~30999，這個可以隨意改。改完重啟一下vsftpd

由於指定這段端口范圍，iptables也要相應的開啟這個范圍，所以像上面那樣打開iptables文件。

也是在21上下面另起一行，更那行差不多，只是把21 改為30000:30999,然后:wq保存，重啟下iptables。這樣就搞定了。

8   設置開機啟動vsftpd ftp服務

[root@bogon ~]# chkconfig vsftpd on

9、使用工具測試環境是否搭建成功

 10、修改nginx的配置文件nginx.conf 將html的根目錄指向FTP資源目錄

    #gzip  on;

    server {
        listen       80;
        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
         root /home/ftpuser/www;
            index  index.html index.htm;
        }

 

 

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　java使用FTP工具上傳文件

 

 使用commons-net 工具包

<dependency>
    <groupId>commons-net</groupId>
    <artifactId>commons-net</artifactId>
    <version>3.3</version>
</dependency>

上傳測試代碼：

@Test
    public void testFtpClient() throws Exception {
        //創建一個FtpClient對象
        FTPClient ftpClient = new FTPClient();
        //創建ftp連接。默認是21端口
        ftpClient.connect("192.168.6.189", 21);
        //登錄ftp服務器，使用用戶名和密碼
        ftpClient.login("ftpuser", "ftpuser");
        //上傳文件。
        //讀取本地文件
        FileInputStream inputStream = new FileInputStream(new File("E:\\test\\2.png"));
        //設置上傳的路徑
        ftpClient.changeWorkingDirectory("/home/ftpuser/www/images");
        //修改上傳文件的格式 避免丟失數據
        ftpClient.setFileType(FTP.BINARY_FILE_TYPE);
        //第一個參數：服務器端文檔名
        //第二個參數：上傳文檔的inputStream
        ftpClient.storeFile("hello1.png", inputStream);
        //關閉連接
        ftpClient.logout();
        
    }

 

 

工具類：

package com.taotao.utils;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;

import org.apache.commons.net.ftp.FTP;
import org.apache.commons.net.ftp.FTPClient;
import org.apache.commons.net.ftp.FTPFile;
import org.apache.commons.net.ftp.FTPReply;

/**
 * ftp上傳下載工具類
 * <p>Title: FtpUtil</p>
 * <p>Description: </p>
 * <p>Company: www.itcast.com</p> 
 * @author    入雲龍
 * @date    2015年7月29日下午8:11:51
 * @version 1.0
 */
public class FtpUtil {

    /** 
     * Description: 向FTP服務器上傳文件 
     * @param host FTP服務器hostname 
     * @param port FTP服務器端口 
     * @param username FTP登錄賬號 
     * @param password FTP登錄密碼 
     * @param basePath FTP服務器基礎目錄
     * @param filePath FTP服務器文件存放路徑。例如分日期存放：/2015/01/01。文件的路徑為basePath+filePath
     * @param filename 上傳到FTP服務器上的文件名 
     * @param input 輸入流 
     * @return 成功返回true，否則返回false 
     */  
    public static boolean uploadFile(String host, int port, String username, String password, String basePath,
            String filePath, String filename, InputStream input) {
        boolean result = false;
        FTPClient ftp = new FTPClient();
        try {
            int reply;
            ftp.connect(host, port);// 連接FTP服務器
            // 如果采用默認端口，可以使用ftp.connect(host)的方式直接連接FTP服務器
            ftp.login(username, password);// 登錄
            reply = ftp.getReplyCode();
            if (!FTPReply.isPositiveCompletion(reply)) {
                ftp.disconnect();
                return result;
            }
            //切換到上傳目錄
            if (!ftp.changeWorkingDirectory(basePath+filePath)) {
                //如果目錄不存在創建目錄
                String[] dirs = filePath.split("/");
                String tempPath = basePath;
                for (String dir : dirs) {
                    if (null == dir || "".equals(dir)) continue;
                    tempPath += "/" + dir;
                    if (!ftp.changeWorkingDirectory(tempPath)) {
                        if (!ftp.makeDirectory(tempPath)) {
                            return result;
                        } else {
                            ftp.changeWorkingDirectory(tempPath);
                        }
                    }
                }
            }
            //設置上傳文件的類型為二進制類型
            ftp.setFileType(FTP.BINARY_FILE_TYPE);
            //上傳文件
            if (!ftp.storeFile(filename, input)) {
                return result;
            }
            input.close();
            ftp.logout();
            result = true;
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (ftp.isConnected()) {
                try {
                    ftp.disconnect();
                } catch (IOException ioe) {
                }
            }
        }
        return result;
    }
    
    /** 
     * Description: 從FTP服務器下載文件 
     * @param host FTP服務器hostname 
     * @param port FTP服務器端口 
     * @param username FTP登錄賬號 
     * @param password FTP登錄密碼 
     * @param remotePath FTP服務器上的相對路徑 
     * @param fileName 要下載的文件名 
     * @param localPath 下載后保存到本地的路徑 
     * @return 
     */  
    public static boolean downloadFile(String host, int port, String username, String password, String remotePath,
            String fileName, String localPath) {
        boolean result = false;
        FTPClient ftp = new FTPClient();
        try {
            int reply;
            ftp.connect(host, port);
            // 如果采用默認端口，可以使用ftp.connect(host)的方式直接連接FTP服務器
            ftp.login(username, password);// 登錄
            reply = ftp.getReplyCode();
            if (!FTPReply.isPositiveCompletion(reply)) {
                ftp.disconnect();
                return result;
            }
            ftp.changeWorkingDirectory(remotePath);// 轉移到FTP服務器目錄
            FTPFile[] fs = ftp.listFiles();
            for (FTPFile ff : fs) {
                if (ff.getName().equals(fileName)) {
                    File localFile = new File(localPath + "/" + ff.getName());
                    OutputStream is = new FileOutputStream(localFile);
                    ftp.retrieveFile(ff.getName(), is);
                    is.close();
                }
            }

            ftp.logout();
            result = true;
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (ftp.isConnected()) {
                try {
                    ftp.disconnect();
                } catch (IOException ioe) {
                }
            }
        }
        return result;
    }
    
    public static void main(String[] args) {
        try {  
            FileInputStream in=new FileInputStream(new File("D:\\temp\\image\\gaigeming.jpg"));  
            boolean flag = uploadFile("192.168.25.133", 21, "ftpuser", "ftpuser", "/home/ftpuser/www/images","/2015/01/21", "gaigeming.jpg", in);  
            System.out.println(flag);  
        } catch (FileNotFoundException e) {  
            e.printStackTrace();  
        }  
    }
}