两种分析HTML网页的方法

　　有人想把Web Page拉下来并抽取其中的内容。这其实是搜索引擎的一项最最基本的工作：下载，抽取，再下载。我早年做过一个Search Engine项目，不过代码都已经不见了。这次有人又问到我这个事情，我给攒了两个方法。 　　方法A，在一个WinForm里面用一个隐藏的Browser控件下载Web Page，并用IHTMLDocument来分析内容。这个方法比较简单，但如果对于大量文件的分析速度很慢。 　　这个方法中用到的主要代码如下：
private void button1_Click(object sender, System.EventArgs e) {
object url="http://www.google.com";
object nothing=null;
this.axWebBrowser1.Navigate2(ref url,ref nothing,ref nothing,ref nothing,ref nothing);
this.axWebBrowser1.DownloadComplete =new System.EventHandler(this.button2_Click);
} private void button2_Click(object sender, System.EventArgs e) {
this.textBox1.Text="";
mshtml.IHTMLDocument2 doc=(mshtml.IHTMLDocument2)this.axWebBrowser1.Document;
mshtml.IHTMLElementCollection all=doc.all;
System.Collections.IEnumerator enumerator=all.GetEnumerator();
while(enumerator.MoveNext() && enumerator.Current!=null)
{
mshtml.IHTMLElement element=(mshtml.IHTMLElement)(enumerator.Current);
if(this.checkBox1.Checked==true)
{
this.textBox1.Text ="rnrn" element.innerHTML;
}
else
{
this.textBox1.Text ="rnrn" element.outerHTML;
}
}
} 　　方法B，用System.Net.WebClient下载Web Page存到本地文件或者String中用正则表达式来分析。这个方法可以用在Web Crawler等需要分析很多Web Page的应用中。 　　下面是一个例子，能够把http://www.google.com首页里的所有的Hyperlink都抽取出来： using System;
using System.Net;
using System.Text;
using System.Text.RegularExpressions; namespace HttpGet{
class Class1{
[STAThread]
static void Main(string[] args){
System.Net.WebClient client=new WebClient();
byte[] page=client.DownloadData("http://www.google.com");
string content=System.Text.Encoding.UTF8.GetString(page);
string regex="href=["'](http://|./|/)?w (.w )*(/w (.w )?)*(/|?w*=w*(&w*=w*)*)?["']";
Regex re=new Regex(regex);
MatchCollection matches=re.Matches(content);

System.Collections.IEnumerator enu=matches.GetEnumerator();
while(enu.MoveNext() && enu.Current!=null)
{
Match match=(Match)(enu.Current);
Console.Write(match.Value "rn");
}
}
}
} 　　真正做爬虫的，都是用正则表达式来做抽取的，可以找些开源的爬虫，代码都差不多。只是有些更高，可以把Flash或者JavaScript里面的URL都抽取出来。 　　再补充一个，有人问我如果一个element是用document.write画出来的，还能不能在DOM里面取到。答案是肯定的。具体取的方法也和平常的一样。下面这个HTML就演示了从DOM里面取到用document.write动态生成的HTML Tag： <FORM>
<SCRIPT>
document.write("<input type=button id='btn1' value='button 1'>");
</SCRIPT>
<INPUT onclick=show() type=button value="click me">
</FORM>
<TEXTAREA id=allnode rows=29 cols=53></TEXTAREA>
<SCRIPT>
function show()
{
document.all.item("allnode").innerText="";
var i=0;
for(i=0;i<document.forms[0].childNodes.length;i )
{
document.all.item("allnode").innerText=document.all.item("allnode").innerText "rn" document.forms[0].childNodes.tagName " " document.forms[0].childNodes.value;
}
}
</SCRIPT> 　　点了“Click Me”以后，打印出来的forms[0]的子元素列表里面，“button 1”赫然在列。
php爱好者站 http://www.ｐｈｐfans.net 网页特效|网页模板