再谈获取Ajax网页内容的方法

以前做过一个自动收集网页内容的工具，使用的还可以，用Indy的IdHttp组件来获取网页内容然后分析处理。

现在很多网站都采用了Ajax技术，网页内容异步刷新，所以使用IdHttp组件就无法获取完整的网页内容了。我在

http://www.cnblogs.com/GarfieldTom/archive/2009/12/09/1620184.html

中提到了如果网页内容获取完毕后，可以获取完整的网页内容，可没有一个好的方法来判断网页中的Ajax是否执行完毕，即判断网页的内容是否已完全获取。

上网查了许多资料，有种技术倒可以实现，但比较麻烦，要分析网页的DOM机构，然后调用相关的Ajax来获取全部网页，也有人为此申请了专利。

我对DOM几乎没有研究，于是想通过一个别的办法来实现。其实网页在执行完Ajax后，内容会有变化的，于是就决定使用一个比较笨的办法来获取网页内容：通过判断网页内容的变化来判断Ajax是否执行完毕。

代码  1 wbContent.Navigate(vURL);
 2 
 3     Result:=GetHtml(wbContent);
 4 
 5     while not ContainsText(Result,'共找到') do
 6     begin
 7       Sleep(100);
 8       Application.ProcessMessages;
 9       Result:=GetHtml(wbContent);
10     end;
11 
12     Result:=GetHtml(wbContent);

其中：

代码 function GetHtml(const WebBrowser:TWebBrowser): string;
var
  Doc: IHTMLDocument2;
begin
  Doc := WebBrowser.Document as IHTMLDocument2;
  if Assigned(Doc) and Assigned(Doc.body) then
    Result := Doc.body.OuterHtml; //也可以用innerHTML取得其HTML文本
end;

这样就可以实现获取如果Ajax返回内容有特定信息的网页内容。上面的“共找到”即只有在Ajax执行完毕后长会出现的内容。

当然，这种方法不如上面提到的分析DOM机构来执行的方法好，并且该方法有一定的局限性。但可以简单地实现获取某些含Ajax内容的网页信息。

希望在此方面有经验的大侠们多多指教。