C#采集百度贴吧内容

http://icuit.cn/bak/Release.rar

基本原理是通过Request到html源码然后解析HTML标签。

首先用System.Net.WebResponse,System.Net.WebRequest两个方法通过url获取到html的string.

然后解析html标签,都说用正则是最合适的做法。

但由于学疏才浅,用了第三方的库HtmlAgilityPack.可以像XML那样获取结点。

HtmlAgilityPack有GetElementbyId,SelectSingleNode,SelectNodes,GetAttributeValue等方法,

InnerHtml,InnerText等主要属性,再加上一些复杂的字符串分析,基本上可以满足要求了。

数据存储依然用的是SQLite。但是这东西似乎并发时表现一般,而且经常会锁住。
所以开了50个线程取数据的同时还得lock住insert的过程。

原文地址:https://www.cnblogs.com/icuit/p/1749402.html