Java简单实现解析网页和URL下载图片

问题：从指定网址上下载图片到本机。

要求：

1. 通过解析页面，分析出指定图片，并且下载。注意：不是指定图片地址。
   图片对应的网址：http://origin.cpc.ncep.noaa.gov/products/people/mchen/CFSv2FCST/monthly/ 要求，下载其中的SST这一列的全部图片。
2. 下载前对图片是否已经存在要做判断。

提示：java解析网址用jsoup

1. 提前说明：本文使用maven完成，因为用到了Jsoup，pom文件中肯定要引啦。此外我还引入了log4j、slf4j-log4j12、commons-net。

 口说无凭，pom.xml文件如下（dependencies部分）

<dependencies>
    <dependency>
        <groupId>log4j</groupId>
        <artifactId>log4j</artifactId>
        <version>1.2.17</version>
    </dependency>
    
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>1.7.7</version>
    </dependency>
    
    <dependency>
        <groupId>commons-net</groupId>
        <artifactId>commons-net</artifactId>
        <version>3.6</version>
    </dependency>
    
    <dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.10.2</version>
    </dependency>
</dependencies>

2. 全部引入后，配置log4j文件，将其放到 srcmain esources目录下，取名log4j.properties（没有引入log4j、slf4j-log4j12的此步忽略）

 log4j.properties配置文件如下：

log4j.rootLogger=INFO,Console,File
#定义日志输出目的地为控制台  
log4j.appender.Console=org.apache.log4j.ConsoleAppender
log4j.appender.Console.Target=System.out
#可以灵活地指定日志输出格式，下面一行是指定具体的格式  
log4j.appender.Console.layout = org.apache.log4j.PatternLayout
log4j.appender.Console.layout.ConversionPattern=[%d{yyyy-MM-dd HH:mm} %c] - %m%n
  
#文件大小到达指定尺寸的时候产生一个新的文件  
log4j.appender.File = org.apache.log4j.RollingFileAppender
#指定输出目录  
log4j.appender.File.File = logs/info.log
#定义文件最大大小  
log4j.appender.File.MaxFileSize = 10MB
# 输出所有日志，如果换成DEBUG表示输出DEBUG以上级别日志
log4j.appender.File.Threshold = ALL
log4j.appender.File.layout = org.apache.log4j.PatternLayout
log4j.appender.File.layout.ConversionPattern =[%p] [%d{yyyy-MM-dd HH:mm:ss}][%c]%m%n

3. 开始撸码

package com.url;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.*;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLEncoder;

/**
 * @author 清风明月
 * @description
 * @date 2019/7/14 14:08
 */
public class ParseUrl {
    private static final Logger logger = LoggerFactory.getLogger(ParseUrl.class);
    private static final String HTTP_URL = "https://origin.cpc.ncep.noaa.gov/products/people/mchen/CFSv2FCST/monthly/";
    private static final String IMAGE_PATH = "E:\Projects\image";

    public static void main(String[] args) {
        try {
            Document document = Jsoup.connect(HTTP_URL).get();
            Element table = document.getElementsByTag("table").get(0);
            Elements trs = table.select("tr");
            for (int i = 2; i < trs.size(); i++) {
                Element td = trs.get(i).select("td").get(1);
                Elements a = td.select("a[href^=images]");
                String image = a.attr("href");
                String imgUrl = HTTP_URL + image;
                downImages(imgUrl);
            }
            logger.info("本组图片已全部保存到" + IMAGE_PATH);
        } catch (IOException e) {
            e.printStackTrace();
            logger.error("读取页面内容失败");
        }
    }

    /**
     * @param [imgUrl]
     * @return void
     * @author 清风明月
     * @date 2019/7/16 13:59
     */
    private static void downImages(String imgUrl) {
        File imgFilePath = new File(IMAGE_PATH);
        //如果目录不存在，创建目录
        if (!imgFilePath.exists()) {
            boolean mkdir = imgFilePath.mkdir();
            logger.info(mkdir ? "程序已自动创建目录" : "");
        }
        //拼接image下载地址
        String beforeUrl = imgUrl.substring(0, imgUrl.lastIndexOf("/") + 1);
        String imgName = imgUrl.substring(imgUrl.lastIndexOf("/") + 1);
        String newImgName = imgName;

        try {
            newImgName = URLEncoder.encode(imgName, "UTF-8");
        } catch (UnsupportedEncodingException e) {
            logger.error("图片名称有误");
            e.printStackTrace();
        }
        imgUrl = beforeUrl + newImgName;
        try {
            //获取下载地址
            URL url = new URL(imgUrl);
            InputStream in = null;
            OutputStream out = null;
            try {
                //链接网络地址，创建连接对象
                HttpURLConnection connection = (HttpURLConnection) url.openConnection();
                //建立到远程对象的实际连接
                connection.connect();
                //连接成功
                if (connection.getResponseCode() == HttpURLConnection.HTTP_OK) {
                    //获取链接的输入流
                    in = connection.getInputStream();
                    //创建下载到本地的文件
                    File imgFile = new File(IMAGE_PATH, imgName);
                    if (imgFile.exists()) {
                        logger.info(imgName + " 该图片已存在");
                    } else {
                        //写入文件
                        out = new FileOutputStream(imgFile);
                        byte[] buf = new byte[1024];
                        int len;
                        while ((len = in.read(buf)) != -1) {
                            out.write(buf, 0, len);
                        }
                        out.flush();
                        //断开连接
                        connection.disconnect();
                        logger.info(imgName + "下载成功");
                    }
                } else {
                    logger.warn("连接失败");
                }

            } catch (IOException e) {
                logger.error("下载图片失败");
                e.printStackTrace();
            } finally {
                try {
                    if (out != null) {
                        out.close();
                    }

                    if (in != null) {
                        in.close();
                    }
                } catch (IOException e) {
                    logger.error("读写流关闭出现异常");
                    e.printStackTrace();
                }
            }
        } catch (MalformedURLException e) {
            logger.error("网址格式错误");
            e.printStackTrace();
        }
    }
}

至此，大功告成。

最后给各位提两点建议(包括我)：

1. 调用close()方法前，手动加上flush()方法，并且close()方法尽量放在finally中，不要偷懒。否则有可能出现文件(包括图片、word文档等)下载完成却无法打开的情况；
2. 如果下载的文件只有1KB，建议查看URL是否正确(例如https://少了s)；

“我将永远忠于自己，披星戴月奔向理想和你”