用DOM实现文章采集-HtmlAgilityPack实现html解析

Html Agility Pack 是CodePlex 上的一个开源项目。它提供了标准的DOM API 和XPath 支持!

下载地址:http://htmlagilitypack.codeplex.com/

示例代码:

HtmlDocument doc = new HtmlDocument();
 doc.Load("file.htm");
 foreach(HtmlNode link in doc.DocumentElement.SelectNodes("//a[@href"])
 {
    HtmlAttribute att = link["href"];
    att.Value = FixLink(att);
 }
 doc.Save("file.htm");

注:解决HtmlAgilityPack得到的InnerText中有残留的script、样式的问题

foreach(var script in doc.DocumentNode.Descendants("script").ToArray())
    script.Remove();
foreach(var style in doc.DocumentNode.Descendants("style").ToArray())
    style.Remove();

string innerText = doc.DocumentNode.InnerText;

mark:

1、获取网页title:doc.DocumentNode.SelectSingleNode("//title").InnerText;

    解释:XPath中“//title”表示所有title节点。SelectSingleNode用于获取满足条件的唯一的节点。

2、获取所有的超链接:doc.DocumentNode.Descendants("a")

3、获取name为kw的input,也就是相当于getElementsByName():            

    var kwBox = doc.DocumentNode.SelectSingleNode("//input[@name='kw']");

    解释:"//input[@name='kw']"也是XPath的语法,表示:name属性等于kw的input标签。

推荐相关博客:

HtmlAgilityPack 之 HtmlNode类

http://www.cnblogs.com/kissdodog/archive/2013/02/28/2936950.html

【.NET】使用HtmlAgilityPack抓取网页数据

http://www.cnblogs.com/bomo/archive/2013/01/28/2879361.html

HTML解析利器HtmlAgilityPack

http://zhoufoxcn.blog.51cto.com/792419/595344

原文地址:https://www.cnblogs.com/jvsnet/p/3656826.html