[工具庫]JFileDownloader工具類——多線程下載網絡文件，並保存在本地

本人大四即將畢業的准程序員（JavaSE、JavaEE、android等）一枚，小項目也做過一點，於是乎一時興起就寫了一些工具。

我會在本博客中陸續發布一些平時可能會用到的工具。

代碼質量可能不是很好，大家多擔待！

代碼或者思路有不妥之處，還希望大牛們能不吝賜教哈！

 

以下代碼為本人原創，轉載請注明：

本文轉載，來自：http://www.cnblogs.com/tiantianbyconan/archive/2013/02/20/2919132.html

 

JFileDownloader：用於多線程下載網絡文件，並保存在本地。

源碼如下：

1.JFileDownloader類：主要負責下載的初始化可啟動工作。

package com.wangjie.extrautil.jfiledownloader;

import java.io.File;
import java.net.HttpURLConnection;
import java.net.URL;

/**
 * 
 * @author wangjie
 * @version 創建時間：2013-2-7 下午1:40:52
 */
public class JFileDownloader{
    private String urlPath;
    private String destFilePath;
    private int threadCount;
    private JFileDownloadThread[] threads;
    
    private JFileDownloadListener fileDownloadListener; // 進度監聽器
    private JFileDownloaderNotificationThread notificationThread; // 通知進度線程
    
    private File destFile;
    /**
     * 下載過程中文件的后綴名。
     */
    public final static String DOWNLOADING_SUFFIX = ".jd"; 
    /**
     * 默認使用的線程數量。<br>
     * 如果不設置線程數量參數（threadCount），則默認線程啟動數量為1，即單線程下載。
     */
    public static final int DEFAULT_THREADCOUNT = 1;
    /**
     * 生成JFileDownloader對象。
     * @param urlPath 要下載的目標文件URL路徑
     * @param destFilePath 要保存的文件目標（路徑+文件名）
     * @param threadCount 下載該文件所需要的線程數量
     */
    public JFileDownloader(String urlPath, String destFilePath, int threadCount) {
        this.urlPath = urlPath;
        this.destFilePath = destFilePath;
        this.threadCount = threadCount;
    }
    /**
     * 生成JFileDownloader對象，其中下載線程數量默認是1，也就是選擇單線程下載。
     * @param urlPath urlPath 要下載的目標文件URL路徑
     * @param destFilePath destFilePath 要保存的文件目標（路徑+文件名）
     */
    public JFileDownloader(String urlPath, String destFilePath) {
        this(urlPath, destFilePath, DEFAULT_THREADCOUNT);
    }
    /**
     * 默認的構造方法，使用構造方法后必須要調用set方法來設置url等下載所需配置。
     */
    public JFileDownloader() {
        
    }
    /**
     * 開始下載方法（流程分為3步）。
     * <br><ul>
     * <li>檢驗URL的合法性<br>
     * <li>計算下載所需的線程數量和每個線程需下載多少大小的文件<br>
     * <li>啟動各線程。
     * </ul>
     * @author wangjie
     * @throws Exception 如果設置的URL，includes等參數不合法，則拋出該異常
     */
    public void startDownload() throws Exception{
        checkSettingfValidity(); // 檢驗參數合法性
        
        URL url = new URL(urlPath);
        HttpURLConnection conn = (HttpURLConnection)url.openConnection();
        conn.setConnectTimeout(20 * 1000);
        // 獲取文件長度
        long size = conn.getContentLength();
//        int size = conn.getInputStream().available();
        if(size < 0 || null == conn.getInputStream()){
            throw new Exception("網絡連接錯誤，請檢查URL地址是否正確");
        }
        conn.disconnect();
        
        
        // 計算每個線程需要下載多少byte的文件
        long perSize = size % threadCount == 0 ? size / threadCount : (size / threadCount + 1);
        // 建立目標文件（文件以.jd結尾）
        destFile = new File(destFilePath + DOWNLOADING_SUFFIX);
        destFile.createNewFile();
        
        threads = new JFileDownloadThread[threadCount];
        
        // 啟動進度通知線程
        notificationThread = new JFileDownloaderNotificationThread(threads, fileDownloadListener, destFile, size);
        notificationThread.start();
        
        // 初始化若干個下載線程
        for(int i = 0; i < threadCount; i++){
            if(i != (threadCount - 1)){
                threads[i] = new JFileDownloadThread(urlPath, destFile, 
                        i * perSize, perSize, notificationThread);
            }else{
                threads[i] = new JFileDownloadThread(urlPath, destFile, 
                        i * perSize, size - (threadCount - 1) * perSize, notificationThread);
            }
            threads[i].setPriority(8);
//            threads[i].start();
        }
        // 啟動若干個下載線程（因為下載線程JFileDownloaderNotificationThread中使用了threads屬性，所以必須等下載線程全部初始化以后才能啟動線程）
        for(JFileDownloadThread thread : threads){
            thread.start();
        }
        
    }
    /**
     * 取消所有下載線程。
     * @author wangjie
     */
    public void cancelDownload(){
        if(null != threads && 0 != threads.length && null != notificationThread){
            for(JFileDownloadThread thread : threads){ // 終止所有下載線程
                thread.cancelThread();
            }
            notificationThread.cancelThread(); // 終止通知線程
            System.out.println("下載已被終止。");
            return;
        }
        System.out.println("下載線程還未啟動，無法終止。");
    }
    
    /**
     * 設置要下載的目標文件URL路徑。
     * @author wangjie
     * @param urlPath 要下載的目標文件URL路徑
     * @return 返回當前JFileDownloader對象
     */
    public JFileDownloader setUrlPath(String urlPath) {
        this.urlPath = urlPath;
        return this;
    }
    /**
     * 設置要保存的目標文件（路徑+文件名）。
     * @author wangjie
     * @param destFilePath 要保存的文件目標（路徑+文件名）
     * @return 返回當前JFileDownloader對象
     */
    public JFileDownloader setDestFilePath(String destFilePath) {
        this.destFilePath = destFilePath;
        return this;
    }
    /**
     * 設置下載該文件所需要的線程數量。
     * @author wangjie
     * @param threadCount 下載該文件所需要的線程數量
     * @return 返回當前JFileDownloader對象
     */
    public JFileDownloader setThreadCount(int threadCount) {
        this.threadCount = threadCount;
        return this;
    }
    
    //觀察者模式來獲取下載進度
    /**
     * 設置監聽器，以獲取下載進度。
     */
    public JFileDownloader setFileDownloadListener(
            JFileDownloadListener fileDownloadListener) {
        this.fileDownloadListener = fileDownloadListener;
        return this;
    }
    /**
     * 通過該方法移出相應的監聽器對象。
     * @author wangjie
     * @param fileDownloadListener 要移除的監聽器對象
     */
    public void removeFileDownloadListener(
            JFileDownloadListener fileDownloadListener) {
        fileDownloadListener = null;
    }


    /**
     * 檢驗設置的參數是否合法。
     * @author wangjie
     * @throws Exception 目標文件URL路徑不合法，或者線程數小於1，則拋出該異常
     */
    private void checkSettingfValidity() throws Exception{
        if(null == urlPath || "".equals(urlPath)){
            throw new Exception("目標文件URL路徑不能為空");
        }
        if(threadCount < 1){
            throw new Exception("線程數不能小於1");
        }
    }
    
}

 

2.JFileDownloadListener接口：該接口用於監聽JFileDownloader下載的進度。

package com.wangjie.extrautil.jfiledownloader;

import java.io.File;

/**
 * 
 * 該接口用於監聽JFileDownloader下載的進度。
 * 
 * @author wangjie
 * @version 創建時間：2013-2-7 下午2:12:45
 */
public interface JFileDownloadListener {
    /**
     * 該方法可獲得文件的下載進度信息。
     * @author wangjie
     * @param progress 文件下載的進度值，范圍（0-100）。0表示文件還未開始下載；100則表示文件下載完成。
     * @param speed 此時下載瞬時速度（單位：kb/每秒）。
     * @param remainTime 此時剩余下載所需時間（單位為毫秒）。
     */
    public void downloadProgress(int progress, double speed, long remainTime);
    /**
     * 文件下載完成會調用該方法。
     * @author wangjie
     * @param file 返回下載完成的File對象。
     * @param downloadTime 下載所用的總時間（單位為毫秒）。
     */
    public void downloadCompleted(File file, long downloadTime);
}

 

3.JFileDownloaderNotificationThread類：該線程為通知下載進度的線程。

package com.wangjie.extrautil.jfiledownloader;

import java.io.File;
import java.math.BigDecimal;

/**
 * 該線程為通知下載進度的線程。
 * 用於在下載未完成時通知用戶下載的進度，范圍（0-100）。0表示文件還未開始下載；100則表示文件下載完成。
 * 此時下載瞬時速度（單位：kb/每秒）。
 * 在完成時返回下載完成的File對象給用戶。返回下載所用的總時間（單位為毫秒）給用戶。
 * @author wangjie
 * @version 創建時間：2013-2-17 下午12:23:59
 */
public class JFileDownloaderNotificationThread extends Thread{
    private JFileDownloadThread[] threads;
    private JFileDownloadListener fileDownloadListener;
    private File destFile;
    private long destFileSize;
    private boolean isRunning; // 線程運行停止標志
    private boolean notificationTag; // 通知標志
    /**
     * 通過該方法構建一個進度通知線程。
     * @param threads 下載某文件需要的所有線程。
     * @param fileDownloadListener 要通知進度的監聽器對象。
     * @param destFile 下載的文件對象。
     */
    public JFileDownloaderNotificationThread(JFileDownloadThread[] threads,
            JFileDownloadListener fileDownloadListener, File destFile, long destFileSize) {
        this.threads = threads;
        this.fileDownloadListener = fileDownloadListener;
        this.destFile = destFile;
        this.destFileSize = destFileSize;
    }

    /**
     * 不斷地循環來就檢查更新進度。
     */
    @Override
    public void run() {
        isRunning = true;
        long startTime = 0;
        if(null != fileDownloadListener){
            startTime = System.currentTimeMillis(); // 文件下載開始時間
        }
        
        long oldTemp = 0; // 上次已下載數據長度
        long oldTime = 0; // 上次下載的當前時間
        
        while(isRunning){
            if(notificationTag){ // 如果此時正等待檢查更新進度。
                // 計算此時的所有線程下載長度的總和
                long temp = 0;
                for(JFileDownloadThread thread : threads){
                    temp += thread.currentLength;
                }
//                System.out.println("temp: " + temp);
//                System.out.println("destFileSize: " + destFileSize);
                // 換算成進度
                int progress = (int) ((double)temp * 100 / (double)destFileSize);
                
                // 把進度通知給監聽器
                if(null != fileDownloadListener){
                    // 計算瞬時速度
                    long detaTemp = temp - oldTemp; // 兩次更新進度的時間段內的已下載數據差
                    long detaTime = System.currentTimeMillis() - oldTime; // 兩次更新進度的時間段內的時間差 
                    // 兩次更新進度的時間段內的速度作為瞬時速度
                    double speed = ((double)detaTemp / 1024) / ((double)(detaTime) / 1000); 
                    
                    // 保留小數點后2位，最后一位四舍五入
                    speed = new BigDecimal(speed).setScale(2, BigDecimal.ROUND_HALF_UP).doubleValue();
                    
                    // 計算剩余下載時間
                    double remainTime = (double)(destFileSize - temp) / speed;
                    if(Double.isInfinite(remainTime) || Double.isNaN(remainTime)){
                        remainTime = 0;
                    }else{
                        remainTime = new BigDecimal(remainTime).setScale(0, BigDecimal.ROUND_HALF_UP).longValue();
                    }
                    
                    // 通知監聽者進度和速度以及下載剩余時間
                    fileDownloadListener.downloadProgress(progress, speed, (long)remainTime);
                    
                    // 重置上次已下載數據長度和上次下載的當前時間
                    oldTemp = temp;
                    oldTime = System.currentTimeMillis();
                }
                
                // 如果下載進度達到100，則表示下載完畢
                if(100 <= progress){
                    // 給下載好的文件進行重命名，即去掉DOWNLOADING_SUFFIX后綴
                    String oldPath = destFile.getPath();
                    File newFile = new File(oldPath.substring(0, oldPath.lastIndexOf(".")));
                    // 檢查去掉后的文件是否存在。如果存在，則刪除原來的文件並重命名下載的文件（即：覆蓋原文件）
                    if(newFile.exists()){
                        newFile.delete();
                    }
                    System.out.println(destFile.renameTo(newFile));// 重命名
                    // 通知監聽器，並傳入新的文件對象
                    if(null != fileDownloadListener){
                        fileDownloadListener.downloadCompleted(newFile, System.currentTimeMillis() - startTime);
                    }
                    isRunning = false; // 文件下載完就結束通知線程。
                }
                notificationTag = false;
            }
            // 設置為每100毫秒進行檢查並更新通知
            try {
                Thread.sleep(100);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            
        }
        
    }
    /**
     * 調用這個方法，則會使得線程處於待檢查更新進度狀態。
     * @author wangjie
     */
    public synchronized void notificationProgress(){
        notificationTag = true;
    }
    /**
     * 取消該通知線程
     * @author wangjie
     */
    public void cancelThread(){
        isRunning = false;
    }
    

}

 

4.JFileDownloadThread類：真正的下載線程，該線程用於執行該線程所要負責下載的數據。

package com.wangjie.extrautil.jfiledownloader;

import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.URL;

/**
 * 
 * 真正的下載線程，該線程用於執行該線程所要負責下載的數據。
 * 
 * @author wangjie
 * @version 創建時間：2013-2-7 上午11:58:24
 */
public class JFileDownloadThread extends Thread{
    private String urlPath;
    private File destFile;
    private long startPos;
    /**
     * 此線程需要下載的數據長度。
     */
    public long length;
    /**
     * 此線程現在已下載好了的數據長度。
     */
    public long currentLength;
    
    private JFileDownloaderNotificationThread notificationThread;
    private boolean isRunning = true;
    
    /**
     * 構造方法，可生成配置完整的JFileDownloadThread對象
     * @param urlPath 要下載的目標文件URL
     * @param destFile 要保存的目標文件
     * @param startPos 該線程需要下載目標文件第幾個byte之后的數據
     * @param length 該線程需要下載多少長度的數據
     * @param notificationThread 通知進度線程
     */
    public JFileDownloadThread(String urlPath, File destFile, long startPos,
            long length, JFileDownloaderNotificationThread notificationThread) {
        this.urlPath = urlPath;
        this.destFile = destFile;
        this.startPos = startPos;
        this.length = length;
        this.notificationThread = notificationThread;
    }
    /**
     * 該方法將執行下載功能，並把數據存儲在目標文件中的相應位置。
     */
    @Override
    public void run() {
        RandomAccessFile raf = null;
        HttpURLConnection conn = null;
        InputStream is = null;
        try {
//            URL url = new URL("http://localhost:8080/firstserver/files/hibernate.zip");
            URL url = new URL(urlPath);
            conn = (HttpURLConnection)url.openConnection();
            conn.setConnectTimeout(20 * 1000);
            is = conn.getInputStream();
            raf = new RandomAccessFile(destFile, "rw");
            raf.setLength(conn.getContentLength()); // 設置保存文件的大小
//            raf.setLength(conn.getInputStream().available());
            
            // 設置讀入和寫入的文件位置
            is.skip(startPos);
            raf.seek(startPos);
            
            currentLength = 0; // 當前已下載好的文件長度
            byte[] buffer = new byte[1024 * 1024];
            int len = 0;
            while(currentLength < length && -1 != (len = is.read(buffer))){
                if(!isRunning){
                    break;
                }
                if(currentLength + len > length){
                    raf.write(buffer, 0, (int)(length - currentLength));
                    currentLength = length;
                    notificationThread.notificationProgress(); // 通知進度線程來更新進度
                    return;
                }else{
                    raf.write(buffer, 0, len);
                    currentLength += len;
                    notificationThread.notificationProgress(); // 通知進度線程來更新進度
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally{
            try {
                is.close();
                raf.close();
                conn.disconnect();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        
    }
    /**
     * 取消該線程下載
     * @author wangjie
     */
    public void cancelThread(){
        isRunning = false;
    }
    
    
}

 

使用方法如下：

String urlPath = "http://localhost:8080/firstserver/files/test.zip";
String destFilePath = "C:\\Users\\admin\\Desktop\\雜\\臨時倉庫\\test.zip";
int threadCount = 3;

JFileDownloader downloader = new JFileDownloader(urlPath, destFilePath, threadCount);
//或者：
JFileDownloader downloader = new JFileDownloader()
            .setUrlPath(urlPath)
            .setDestFilePath(destFilePath)
            .setThreadCount(threadCount)
            .setFileDownloadListener(new JFileDownloadListener() { // 設置進度監聽器
                    public void downloadProgress(int progress, double speed, long remainTime) {
                        System.out.println("文件已下載：" + progress + "%，下載速度為：" + speed + "kb/s，剩余所需時間：" + remainTime + "毫秒");
                    }
                    public void downloadCompleted(File file, long downloadTime) {
                        System.out.println("文件：" + file.getName() + "下載完成，用時：" + downloadTime + "毫秒");
                    }
            });
    try {
        downloader.startDownload(); // 開始下載
    } catch (Exception e) {
        e.printStackTrace();
    }