.net抓取网页信息

  往往在实际开发中,经常会用到一些如抓取网站信息之类的的操作,往往大家采用的是用一些正则的方式获取,但是有时候正则是很死板的,我们常常试想能不能使用jquery的选择器,获取符合自己要求的元素,然后进行操作,例如:我想获取一个网页中关于一款产品的链接,并从这些链接中获取相应产品的数据。如果写正则匹配网址也是 很纠结的事情。但如果能使用jquery选择器难道hrefvalue,然后在验证 就是 一件非常愉快的事情了。

  首先介绍一些今天用的框架:Jumony,这是一个html解析器。(关于html解析器,顾名思义就是对一段html 文本进行解析,解析成可以操作的元素。)当然这并不只是一套html解析器,他还有mvc引擎的功能。

项目地址:https://github.com/Ivony/Jumony

 

  然后说下这个框架中的术语:

 

  元素(IHtmlElement)

元素是 HTML 中最常见的一种对象,如下的 HTML 代码便定义了一个元素:

<a href="#title">Text</a>

元素一般由一个开始标签、一个结束标签以及在标签之间的 HTML 内容组成。在上例中, <a href="#title">是开始标签, </a>是结束标签,Text是元素的内容。

也有一些元素不能包含任何内容,这些元素的在 HTML 代码中便没有结束标签,如:

<img src="http://images.cnblogs.com/logo.png">

 抽象:

由于元素可以包含其他的内容,所以元素满足容器(Container)的抽象。而元素也同时是 HTML 文档内容的一部分,所以元素同时也是一个节点(Node)。

  属性(IHtmlAttribute)

属性是元素的一部分,定义在元素的开始标签中,如下的 HTML 定义了一个元素,并且这个元素也包含了一个属性:

<img src="http://images.cnblogs.com/logo.png">

其中的 src="/images.logo.png" 便是一个属性。属性由属性名和属性值所组成,其中src是属性名,而 "/images.logo.png" 则是属性值。 一个元素也可以由多个属性组成:

 抽象:

值得注意的是,属性是元素的一部分,并不直接是 HTML 文档内容的一部分,所以属性并不是一个节点(Node)。

  注释(IHtmlComment)

注释是 HTML 中的一种特殊的标签,下面的 HTML 代码定义了一个注释

<!--Comment Content-->

其中的 Comment Content 即是注释内容。注释内容会被 HTML 排版引擎所忽略。

 抽象:

与元素一样,注释也是 HTML 文档内容的一部分,所以注释也是一个节点(Node)。

  文本节点(IHtmlTextNode)

所有没有被尖括号<>括起来的内容,都是 HTML 文本节点。例如:

文本A<p>文本内容<p>文本B

其中的 文本A 、文本内容 、 文本B 都是 HTML 文本节点

 抽象:

与元素一样,文本节点也是 HTML 文档内容的一部分,所以文本节点是一个节点(Node)。

  特殊节点(IHtmlSpecial)

特殊节点并不是 HTML 标准的一部分,所有无法被识别的标签,都会被分析器解释为特殊节点。例如 DOCTYPE 声明:

<!DOCTYPE html>

或者是代码片段

<%=Eval( "name" )%>

 抽象:

与元素和注释一样,特殊节点也是 HTML 文档内容的一部分,所以特殊节点是一个节点(Node)。

  文档片段(IHtmlFragment)

文档片段是一种特殊的 DOM 对象,其表现为不存在于当前 HTML 文档中的一小段 HTML 片段,文档片段可以随时被插入到文档的指定位置。插入到具体位置后,原有的文档片段对象即被销毁。

文档片段可以通过解析 HTML 而得到

 抽象:

文档可以包含其他内容节点,所以与元素一样,文档也是一个容器。

  文档(IHtmlDocument)

HTML 文档是所有 DOM 对象的根对象,所有的 DOM 对象必然属于某个文档。

文档包含一个可选的 HTML 文档类型声明,一系列的子节点和文档片段。在某个文档上创建的文档片段,只能插入到这个文档的之中。

文档决定了整个 DOM 结构的具体实现,以及依据的 HTML 规范版本,这些将进一步影响到所有 API 的行为。所以针对A文档和B文档的同一个API的行为可能是不同的。

 抽象:

文档可以包含其他内容节点,所以与元素一样,文档也是一个容器。

  容器(IHtmlContainer)

容器是一个抽象对象,其被定义为可以包含子节点的对象。所以,文档、元素、文档片段均符合容器抽象。

IHtmlContainer 接口定义了一个 Nodes 方法获取容器的所有子节点。而 Jumony API 则提供了丰富多样的导航方法可以利用 CSS 选择器查找容器的所有子元素、子代元素。同时,所有的容器都支持 InnerHtml 和 InnerText 方法获取其内容

  节点(IHtmlNode)

节点也是一个抽象对象,其被定义为包含在容器中在文档上有确定位置的对象,元素、文本节点、注释节点和特殊节点均符合节点抽象。但值得注意的是,属性并不是节点。

IHtmlNode 接口定义了 Container 方法获取节点所属的容器。Jumony API 提供了丰富的导航方法可以获取节点的所有父代、兄弟节点和元素以及前后节点和元素。同时,所有的节点都支持 OuterHtml 方法。

  DOM 对象(IHtmlDomObject)

DOM 对象是上面所有对象的抽象。由于文档决定了 DOM 结构的具体实现和所依据的 HTML 规范,所以所有的 DOM 对象的行为均由文档对象决定。故而 IHtmlDomObject 接口定义 Document 属性用于获取 DOM 对象所属的文档。

 

 

使用方式:

首先引用 一堆dll

Ivony.Core.dll

Ivony.Html.dll

Ivony.Html.Parser.dll

Ivony.Html.Parser.Regulars.dll

 

 1 然后加载网址
 2 
 3 var doc = new JumonyParser().LoadDocument("http://www.baidu.com");
 4 
 5 然后查找你想要的元素
 6 
 7 //查找所有 img 地址
 8 
 9 var ans=doc.Find("img[src]");
10 
11 //打印所有src的值
12 
13 foreach (var htmlElement in ans)
14 
15 {
16 
17 Console.WriteLine(htmlElement.Attribute("src").AttributeValue);
18 
19 }
原文地址:https://www.cnblogs.com/rufus-hua/p/3487503.html