使用htmlparser爬虫技术爬取电影网页的全部下载链接

昨天，我们利用webcollector爬虫技术爬取了网易云音乐17万多首歌曲，而且还包括付费的在内，如果时间允许的话，可以获取更多的音乐下来，当然，也有小伙伴留言说这样会降低国人的知识产权保护意识，诚然，我们的重点在于如何灵活运用我们已学的技术，这就需要我们不断的练习，不停的思索和深入发掘，在了解了精髓和意义之后运用到实践中才是技术的最高境界。

今天呢，本着昨天的兴趣，想来爬一爬电影资源，中途为了找一个好用趁手的工具，也是费了不少心思，早上半天基本上都在学习和找资料的过程中度过，下午开始才进入状态，那么，今天我们就来利用htmlparse爬取电影网页中的全部电影下载链接。

我们先来认识一下htmlparser:

HTMLParser具有小巧，快速的优点，缺点是相关文档比较少（英文的也少），很多功能需要自己摸索。对于初学者还是要费一些功夫的，而一旦上手以后，会发现HTMLParser的结构设计很巧妙，非常实用，基本你的各种需求都可以满足。

TMLParser的核心模块是org.htmlparser.Parser类，这个类实际完成了对于HTML页面的分析工作。这个类有下面几个构造函数：

public Parser ();
public Parser (Lexer lexer, ParserFeedback fb);
public Parser (URLConnection connection, ParserFeedback fb) throws ParserException;
public Parser (String resource, ParserFeedback feedback) throws ParserException;
public Parser (String resource) throws ParserException;public Parser (Lexer lexer);
public Parser (URLConnection connection) throws ParserException;
public static Parser createParser (String html, String charset);

对于大多数使用者来说，使用最多的是通过一个URLConnection或者一个保存有网页内容的字符串来初始化Parser，或者使用静态函数来生成一个Parser对象。ParserFeedback的代码很简单，是针对调试和跟踪分析过程的，一般不需要改变.

这里比较有趣的一点是，如果需要设置页面的编码方式的话，不使用Lexer就只有静态函数一个方法了。对于大多数中文页面来说，好像这是应该用得比较多的一个方法。

1、前期准备，下载htmlparse压缩包并配置到eclipse上，到下面网址可以下载

http://htmlparser.sourceforge.net/，解压后如下图所示

2、网页的分析与根据网页源码使用htmlparse

1、这里先分析与获取一个电影介绍页面的内容

我们现在先来获取一个页面的下载链接

/**
     * 获取一个页面的下载链接
     */
    public static String getMoiveDownloadUrl(String moiveIntroUrl) {
        // 页面下载连接保存在这里
        String moiveDownLoadUrl = "";
        try {
            // 首先根据页面URL建立一个Parser.
            Parser parser = new Parser(moiveIntroUrl);
            // 使用parser中extractAllNodesThatMatch方法，这个有许多的过滤器，可以帮助我们过滤出我们想要的内容,具体可以看api的介绍
            // 这里我们使用链接文本过滤器，可以过滤出链接里面含ftp的内容，这样就可以取出我们想要的链接
            NodeList nodelist = parser.extractAllNodesThatMatch(new LinkStringFilter("ftp"));
            for (int i = 0; i < nodelist.size(); i++) {
                LinkTag tag = (LinkTag) nodelist.elementAt(i);
                moiveDownLoadUrl = tag.getLink();
            }
        } catch (ParserException e) {
            e.printStackTrace();
        }
        return moiveDownLoadUrl;
    }

2、获取一个分页里的所有电影介绍页面

/**
     * 
     * 获取一个分页里的所有电影介绍页面
     */
    public static List getAllMoiveUrlFromOneList(String pageListUrl) {
        // 将链接地址以集合的形式返回出去
        List<String> allMoiveUrl = new ArrayList<String>();
        try {
            Parser parser = new Parser(pageListUrl);
            // 这里我们使用属性过滤器，可以帮助我们过滤一些属性特殊或者属性里面值唯一的标签
            NodeList nodelist = parser.extractAllNodesThatMatch(new HasAttributeFilter("class", "ulink"));
            for (int i = 0; i < nodelist.size(); i++) {
                LinkTag tag = (LinkTag) nodelist.elementAt(i);
                // 将取出的分页链接拼接一下，放入到集合中来。
                allMoiveUrl.add("http://www.ygdy8.net" + tag.getLink());
            }
        } catch (ParserException e) {
            e.printStackTrace();
        }
        return allMoiveUrl;
    }

3、获取电影网里面的所有分页

/**
     *获取电影网里面的所有的分页 
     */
    public static List getAllPage() {
        // 将链接地址以集合的形式返回出去
        List<String> allPage = new ArrayList<String>();
        try {
            Parser parser = new Parser("http://www.ygdy8.net/html/gndy/jddy/index.html");
                                      //http://www.ygdy8.net/html/gndy/jddy/index.html
            NodeList nodelist = parser.extractAllNodesThatMatch(new TagNameFilter("option"))
                    .extractAllNodesThatMatch(new HasAttributeFilter("value"));
            for (int i = 0; i < nodelist.size(); i++) {
                OptionTag tag = (OptionTag) nodelist.elementAt(i);
                if (tag.getAttribute("value").contains("list")) {
                    allPage.add("http://www.ygdy8.net/html/gndy/jddy/" + tag.getAttribute("value"));
                }
            }
        } catch (ParserException e) {
            e.printStackTrace();
        }
        return allPage;
    }

OK。至此，我们就可以得到全部分页的链接，各个电影介绍页面的链接，介绍页面里的下载链接。接下来我们要做的就是将这三个方法整合起来，获得全部电影的下载链接。

/**
     * 
     * 功能：保存数据到文件中
     * @param content 要保存的内容
     * @param fileName 目标文件名（路径）
     * 
     */
    public static boolean writeContentToFileTwo(String content, String fileName) {
        boolean flag = false;
        try {
            PrintWriter pw = new PrintWriter(new OutputStreamWriter(new FileOutputStream(fileName, true)));
            pw.println();
            pw.print(content);
            pw.flush();
            pw.close();
            flag = true;
        } catch (FileNotFoundException e) {
            e.printStackTrace();
            flag = false;
        }
        return flag;
    }

    public static List getAllMoive() {
        List<String> movieList = new ArrayList<String>();
        // 得到全部的分页链接
        List<String> allPage = getAllPage();
        for (Iterator iterator = allPage.iterator(); iterator.hasNext();) {
            String pageListUrl = (String) iterator.next();
            List<String> allMoiveUrl = getAllMoiveUrlFromOneList(pageListUrl);
            for (Iterator iterator2 = allMoiveUrl.iterator(); iterator2.hasNext();) {
                String moiveIntroUrl = (String) iterator2.next();
                String moiveDownLoadUrl = getMoiveDownloadUrl(moiveIntroUrl);
                writeContentToFileTwo(moiveDownLoadUrl, "a.txt");
                movieList.add(moiveDownLoadUrl);
            }
        }
        return movieList;
    }
    public static void main(String[] args) {
        getAllMoive();
    }

效果如下图所示：

好啦，大功告成啦！是不是很简答呢。

其实这个工具的使用是不复杂的，流程也很清晰，问题的关键在于如何在一个庞大的html页面中获取你想要的内容，可以多一点查看各种的节点过滤器，它可以帮助我们选出我们想要的内容，每次在爬取网页之前我们都要花大量时间去分析一个网页，找到我们想要的内容，不能多也不能少，这我觉得才是爬虫的使用的重点。

如果您对本文有什么异议或者发现有什么问题，欢迎留言，发表您的看法和观点。

附上项目源码和全部电影下载链接的excel：https://git.oschina.net/AuSiang/myBug/attach_files