搜索引擎蜘蛛详解

搜索蜘蛛很傻，你要迁就它
　　今天一个站长向笔者咨询一个问题，“一个老网站，百度近来只更新首页，内页都不收录，怎么做才能让百度收录?”
　　笔者首先问了几个站长最容易犯的毛病，该站长皆说没有。然后查看了此人的站点，发现访问速度很慢，显示也很慢。访问很慢大概是由于笔者网络问题吧，笔者懒得搞网站访问速度测试了，没必要。而显示很慢是因为该站放了很多广告。
　　这个慢的原因对收录的影响不是很大，不至于不收录内页。人工看了这个网站的结构，页面设计，内容分布，都没什么问题。
　　接着，笔者用专业的网站分析软件，分析了下该网站服务器对访问者的响应方式。发现其连接关闭状态“Connection: close”竟然在发送数据之前就送出了。笔者ping了一下该站，这个网站竟然禁止ping。换句话说，就是这个站点给搜索蜘蛛的反应是无法访问。笔者询问了这个站长，该站长说是一个同行网站的站长告诉他，“好多黑客通过 ping 能得到很多数据，所以要禁止ping”，于是这个站长就很听话地设置了禁止对ping作出响应。这个站长非常“幸运”，因为其使用的是服务器，而非虚拟空间，所以拥有搞特殊的“特权”。更要命的是，这个网站还是采用的1k1k地分块一点一点发送数据的方式，增加了访问者和服务器之间的连接次数，给各方造成了不必要的负担，真不知道是谁开发的垃圾网站程序。空间制作
　　情况已经很明白了。一个不让搜索蜘蛛访问的网站，怎么可能会被更新和收录呢?
　　网站被收录很简单，做好“六化”即可：访问速度化、响应标准化、程序普通化、结构一般化、更新经常化、外链丰富化。忠告：搜索蜘蛛很傻，它每天要吃的杂食很多，顾及不到你的特殊情况，所以你要学会迁就搜索蜘蛛，你要照顾好搜索蜘蛛。笔者最后告诉这位站长，你最好把网站关闭掉，把网线拔掉，这样最安全。
　　下面给出禁止ping的响应方式和普通响应方式。
　　禁止ping的站点响应情况：
　　发送了: 433 bytes
　　开始接受数据
　　接收到: 2048/2048 Bytes
　　接收到: 2048/4096 Bytes
　　接收到: 5152/9248 Bytes
　　接收到: 1440/10688 Bytes
　　接收到: 2880/13568 Bytes
　　接收到: 1440/15008 Bytes
　　接收到: 4923/19931 Bytes
　　总接收到: 19931 bytes
　　HTTP/1.1 200 OK
　　Connection: close
　　Date: Tue, 15 Jul 2008 08:19:14 GMT
　　Content-Length: 19662
　　Content-Type: text/html
　　Last-Modified: Fri, 11 Jul 2008 03:50:35 GMT
　　Accept-Ranges: bytes
　　ETag: "4c9a8469e3c81:184e"
　　Server: Microsoft-IIS/6.0
　　X-Powered-By: ASP.NET连接关闭
　　收录正常网站的响应方式：
　　发送了: 417 bytes
　　开始接受数据
　　接收到: 41948/41948 Bytes
　　总接收到: 41948 bytes
　　HTTP/1.1 200 OK
　　Content-Length: 41676
　　Content-Type: text/html
　　Last-Modified: Mon, 14 Jul 2008 14:15:55 GMT
　　Accept-Ranges: bytes
　　ETag: "14557221bce5c81:3a565"
　　Server: Microsoft-IIS/6.0
　　X-Powered-By: ASP.NET
　　Date: Tue, 15 Jul 2008 08:15:55 GMT
　　Connection: close连接关闭


如无特别说明，转载请注明来自SEO优化网，谢谢