Java簡單實現解析網頁和URL下載圖片

問題：從指定網址上下載圖片到本機。

要求：

1. 通過解析頁面，分析出指定圖片，並且下載。注意：不是指定圖片地址。
   圖片對應的網址：http://origin.cpc.ncep.noaa.gov/products/people/mchen/CFSv2FCST/monthly/ 要求，下載其中的SST這一列的全部圖片。
2. 下載前對圖片是否已經存在要做判斷。

提示：java解析網址用jsoup

1. 提前說明：本文使用maven完成，因為用到了Jsoup，pom文件中肯定要引啦。此外我還引入了log4j、slf4j-log4j12、commons-net。

 口說無憑，pom.xml文件如下（dependencies部分）

<dependencies>
    <dependency>
        <groupId>log4j</groupId>
        <artifactId>log4j</artifactId>
        <version>1.2.17</version>
    </dependency>
    
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>1.7.7</version>
    </dependency>
    
    <dependency>
        <groupId>commons-net</groupId>
        <artifactId>commons-net</artifactId>
        <version>3.6</version>
    </dependency>
    
    <dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.10.2</version>
    </dependency>
</dependencies>

2. 全部引入后，配置log4j文件，將其放到 \src\main\resources目錄下，取名log4j.properties（沒有引入log4j、slf4j-log4j12的此步忽略）

 log4j.properties配置文件如下：

log4j.rootLogger=INFO,Console,File
#定義日志輸出目的地為控制台  
log4j.appender.Console=org.apache.log4j.ConsoleAppender
log4j.appender.Console.Target=System.out
#可以靈活地指定日志輸出格式，下面一行是指定具體的格式  
log4j.appender.Console.layout = org.apache.log4j.PatternLayout
log4j.appender.Console.layout.ConversionPattern=[%d{yyyy-MM-dd HH\:mm} %c] - %m%n
  
#文件大小到達指定尺寸的時候產生一個新的文件  
log4j.appender.File = org.apache.log4j.RollingFileAppender
#指定輸出目錄  
log4j.appender.File.File = logs/info.log
#定義文件最大大小  
log4j.appender.File.MaxFileSize = 10MB
# 輸出所有日志，如果換成DEBUG表示輸出DEBUG以上級別日志
log4j.appender.File.Threshold = ALL
log4j.appender.File.layout = org.apache.log4j.PatternLayout
log4j.appender.File.layout.ConversionPattern =[%p] [%d{yyyy-MM-dd HH\:mm\:ss}][%c]%m%n

3. 開始擼碼

package com.url;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.*;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLEncoder;

/**
 * @author 清風明月
 * @description
 * @date 2019/7/14 14:08
 */
public class ParseUrl {
    private static final Logger logger = LoggerFactory.getLogger(ParseUrl.class);
    private static final String HTTP_URL = "https://origin.cpc.ncep.noaa.gov/products/people/mchen/CFSv2FCST/monthly/";
    private static final String IMAGE_PATH = "E:\\Projects\\image";

    public static void main(String[] args) {
        try {
            Document document = Jsoup.connect(HTTP_URL).get();
            Element table = document.getElementsByTag("table").get(0);
            Elements trs = table.select("tr");
            for (int i = 2; i < trs.size(); i++) {
                Element td = trs.get(i).select("td").get(1);
                Elements a = td.select("a[href^=images]");
                String image = a.attr("href");
                String imgUrl = HTTP_URL + image;
                downImages(imgUrl);
            }
            logger.info("本組圖片已全部保存到" + IMAGE_PATH);
        } catch (IOException e) {
            e.printStackTrace();
            logger.error("讀取頁面內容失敗");
        }
    }

    /**
     * @param [imgUrl]
     * @return void
     * @author 清風明月
     * @date 2019/7/16 13:59
     */
    private static void downImages(String imgUrl) {
        File imgFilePath = new File(IMAGE_PATH);
        //如果目錄不存在，創建目錄
        if (!imgFilePath.exists()) {
            boolean mkdir = imgFilePath.mkdir();
            logger.info(mkdir ? "程序已自動創建目錄" : "");
        }
        //拼接image下載地址
        String beforeUrl = imgUrl.substring(0, imgUrl.lastIndexOf("/") + 1);
        String imgName = imgUrl.substring(imgUrl.lastIndexOf("/") + 1);
        String newImgName = imgName;

        try {
            newImgName = URLEncoder.encode(imgName, "UTF-8");
        } catch (UnsupportedEncodingException e) {
            logger.error("圖片名稱有誤");
            e.printStackTrace();
        }
        imgUrl = beforeUrl + newImgName;
        try {
            //獲取下載地址
            URL url = new URL(imgUrl);
            InputStream in = null;
            OutputStream out = null;
            try {
                //鏈接網絡地址，創建連接對象
                HttpURLConnection connection = (HttpURLConnection) url.openConnection();
                //建立到遠程對象的實際連接
                connection.connect();
                //連接成功
                if (connection.getResponseCode() == HttpURLConnection.HTTP_OK) {
                    //獲取鏈接的輸入流
                    in = connection.getInputStream();
                    //創建下載到本地的文件
                    File imgFile = new File(IMAGE_PATH, imgName);
                    if (imgFile.exists()) {
                        logger.info(imgName + " 該圖片已存在");
                    } else {
                        //寫入文件
                        out = new FileOutputStream(imgFile);
                        byte[] buf = new byte[1024];
                        int len;
                        while ((len = in.read(buf)) != -1) {
                            out.write(buf, 0, len);
                        }
                        out.flush();
                        //斷開連接
                        connection.disconnect();
                        logger.info(imgName + "下載成功");
                    }
                } else {
                    logger.warn("連接失敗");
                }

            } catch (IOException e) {
                logger.error("下載圖片失敗");
                e.printStackTrace();
            } finally {
                try {
                    if (out != null) {
                        out.close();
                    }

                    if (in != null) {
                        in.close();
                    }
                } catch (IOException e) {
                    logger.error("讀寫流關閉出現異常");
                    e.printStackTrace();
                }
            }
        } catch (MalformedURLException e) {
            logger.error("網址格式錯誤");
            e.printStackTrace();
        }
    }
}

至此，大功告成。

最后給各位提兩點建議(包括我)：

1. 調用close()方法前，手動加上flush()方法，並且close()方法盡量放在finally中，不要偷懶。否則有可能出現文件(包括圖片、word文檔等)下載完成卻無法打開的情況；
2. 如果下載的文件只有1KB，建議查看URL是否正確(例如https://少了s)；

 

“我將永遠忠於自己，披星戴月奔向理想和你”