Java之Jsoup库：网络爬虫的基本使用

下面以http://news.csdn.net/news.html为爬虫示例网站进行分析，F12查看网页布局，效果如下：

从图中分析知，待扒的单个数据以unit为标签，即一个unit标签对应一个对象。

下面定义Jsoup帮助类，getRootElements()返回需要解析的对象的根标签，这里需要返回document.getElementsByClass("unit")。

anaylizeRootElement(Element rootElemen)方法中将指定的rootElemen解析成需要的对象。

package com.coca.android_unity_lab.joke;

import com.coca.unity_dev_utils.android.log.UtilsLog;
import com.coca.unity_dev_utils.android.log.UtilsLogFactory;
import com.coca.unity_dev_utils.java.UtilsCollections;

import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.util.List;

/**
 * Created by Administrator on 2016/6/16.
 */
public abstract class JsoupHelper {
    private static final UtilsLog lg = UtilsLogFactory.getLogger(JsoupHelper.class);
    private Document document;

    public JsoupHelper setDocument(Document document) {
        this.document = document;
        return this;
    }

    public void startAnaylizeByJsoup() {
        Elements rootElements = getRootElements(document);
        lg.e("开始使用Jsoup分析数据:analizeJsoup，共有数据量：" + rootElements.size());
        for (Element rootElement : rootElements) {
            anaylizeRootElement(rootElement);
        }
    }

    /**
     * 获取解析的根目录集合
     *
     * @param document
     * @return
     */
    public abstract Elements getRootElements(Document document);

    /**
     * 根据每个根布局生成对应的java对象
     *
     * @param rootElement
     * @return
     */
    public abstract void anaylizeRootElement(Element rootElement);
}

具体使用方式如下：

jsoupHelper = new JsoupHelper() {
    @Override
    public Elements getRootElements(Document document) {
        return document.getElementsByClass("unit");
    }

    @Override
    public void anaylizeRootElement(Element rootElement) {
        JokeAdapterEntity entity = new JokeAdapterEntity();
        Element contentElement = JsoupHelper.paraseElement(rootElement, UtilsCollections.createListThroughMulitParamters("h1", "a"));
        entity.setContent(contentElement.text());

        Element imageElement = JsoupHelper.paraseElement(rootElement, UtilsCollections.createListThroughMulitParamters("dl", "dt", "a", "img"));
        if (imageElement != null) {
            lg.e("捕获到的数据：" + imageElement.attr("src"));
            entity.setImgUrl(imageElement.attr("src"));
        }
        adapter.addDataResource(0, entity);
    }
};

调用方式如下，

jsoupHelper.setDocument(Jsoup.parse(response)).startAnaylizeByJsoup();

 下面给出递归搜索至指定标签的方法：

/**
 * 递归解析标签
 * @param element
 * @param tags 标签的依次搜索规则
 * @return
 */
public static Element paraseElement(Element element, List<String> tags) {
    if (UtilsCollections.isCollectionNotEmpty(tags)) {
        String parseTag = tags.get(0);
        Elements elements = element.getElementsByTag(parseTag);

        boolean isElementsNotEmpty = elements != null && elements.size() > 0;
        lg.e("解析标签：" + parseTag + ",Size is " + (isElementsNotEmpty ? elements.size() : 0));
        if (isElementsNotEmpty) {
            return paraseElement(elements.first(), tags.subList(1, tags.size()));
        } else {
            lg.e("该标签下的Element集合为空,return null");
            return null;
        }
    } else {
        lg.e("找到指定元素");
        return element;
    }
}

来自为知笔记(Wiz)