再谈获取Ajax网页内容的方法

以前做过一个自动收集网页内容的工具,使用的还可以,用Indy的IdHttp组件来获取网页内容然后分析处理。

现在很多网站都采用了Ajax技术,网页内容异步刷新,所以使用IdHttp组件就无法获取完整的网页内容了。我在

http://www.cnblogs.com/GarfieldTom/archive/2009/12/09/1620184.html

中提到了如果网页内容获取完毕后,可以获取完整的网页内容,可没有一个好的方法来判断网页中的Ajax是否执行完毕,即判断网页的内容是否已完全获取。

上网查了许多资料,有种技术倒可以实现,但比较麻烦,要分析网页的DOM机构,然后调用相关的Ajax来获取全部网页,也有人为此申请了专利。

我对DOM几乎没有研究,于是想通过一个别的办法来实现。其实网页在执行完Ajax后,内容会有变化的,于是就决定使用一个比较笨的办法来获取网页内容:通过判断网页内容的变化来判断Ajax是否执行完毕。

代码
 1 wbContent.Navigate(vURL);
 2 
 3     Result:=GetHtml(wbContent);
 4 
 5     while not ContainsText(Result,'共找到'do
 6     begin
 7       Sleep(100);
 8       Application.ProcessMessages;
 9       Result:=GetHtml(wbContent);
10     end;
11 
12     Result:=GetHtml(wbContent);

其中:

代码
function GetHtml(const WebBrowser:TWebBrowser): string;
var
  Doc: IHTMLDocument2;
begin
  Doc :
= WebBrowser.Document as IHTMLDocument2;
  
if Assigned(Doc) and Assigned(Doc.body) then
    Result :
= Doc.body.OuterHtml; //也可以用innerHTML取得其HTML文本
end;

这样就可以实现获取如果Ajax返回内容有特定信息的网页内容。上面的“共找到”即只有在Ajax执行完毕后长会出现的内容。

当然,这种方法不如上面提到的分析DOM机构来执行的方法好,并且该方法有一定的局限性。但可以简单地实现获取某些含Ajax内容的网页信息。

希望在此方面有经验的大侠们多多指教。

原文地址:https://www.cnblogs.com/GarfieldTom/p/1839359.html