URL重写与屏蔽的误区
时间:2010-11-01 来源:80676535
今天看见达人审核变严格了,预祝达人区能够变的更好,顺便申请下达人。
以上包含半句废话..
一个月前看到关于URL重写的相关技术,对蜘蛛屏蔽一般都使用文件地址来做。一开始搞不清楚,今天我就是要说一些关于这点的看法,有不正确的地方请大家纠正,谢谢。
例一:
RewriteRule ^/test/k-([0-9])\.html$ /test/k.asp?id=$1
这条规则很典型,仅改变最后页面的文件名。相信大多数都是用这种方式。优点:简单明了。
访问/test/k-9.html后, 部分日志:GET /test/k-9.html
例二:
RewriteRule ^/k-([0-9])\.html$ /test/k.asp?id=$1
我不知道有多少人用这种方式 ,优点:可以按心意减少目录级数。
访问/k-9.html后, 部分日志:GET /k-9.html
例三:
RewriteRule ^/(.*)-k-([0-9])\.html$ /$1/k.asp?id=$2
这个在DZ的论坛的URL里很常见,不知道里面具体是怎么回事 ,优点:全是根目录的东东。
访问/test-k-9.html后, 部分日志:GET /test-k-9.html
例四:
RewriteRule ^/like/k-([0-9])\.html$ /test/k.asp?id=$1
这个用法我没见人用过,不过就算用了我也看不出来 。优点:想要什么目录都可以。
访问/like/k-9.html后, 部分日志:GET /like/k-9.html
从上面四个例子,可以得到几个结果:
第一:日志永远是URL后面的那部分。
第二:URL后面那段,与实际文件位置和名称无关。
再看蜘蛛,访问是依靠URL的信息,除案例一外,其它都可能屏蔽失效。
总结:URL被玩了,顺带蜘蛛也被玩了。至于玩的好不好,那自己研究了。
以上包含半句废话..
一个月前看到关于URL重写的相关技术,对蜘蛛屏蔽一般都使用文件地址来做。一开始搞不清楚,今天我就是要说一些关于这点的看法,有不正确的地方请大家纠正,谢谢。
例一:
RewriteRule ^/test/k-([0-9])\.html$ /test/k.asp?id=$1
这条规则很典型,仅改变最后页面的文件名。相信大多数都是用这种方式。优点:简单明了。
访问/test/k-9.html后, 部分日志:GET /test/k-9.html
例二:
RewriteRule ^/k-([0-9])\.html$ /test/k.asp?id=$1
我不知道有多少人用这种方式 ,优点:可以按心意减少目录级数。
访问/k-9.html后, 部分日志:GET /k-9.html
例三:
RewriteRule ^/(.*)-k-([0-9])\.html$ /$1/k.asp?id=$2
这个在DZ的论坛的URL里很常见,不知道里面具体是怎么回事 ,优点:全是根目录的东东。
访问/test-k-9.html后, 部分日志:GET /test-k-9.html
例四:
RewriteRule ^/like/k-([0-9])\.html$ /test/k.asp?id=$1
这个用法我没见人用过,不过就算用了我也看不出来 。优点:想要什么目录都可以。
访问/like/k-9.html后, 部分日志:GET /like/k-9.html
从上面四个例子,可以得到几个结果:
第一:日志永远是URL后面的那部分。
第二:URL后面那段,与实际文件位置和名称无关。
再看蜘蛛,访问是依靠URL的信息,除案例一外,其它都可能屏蔽失效。
总结:URL被玩了,顺带蜘蛛也被玩了。至于玩的好不好,那自己研究了。
相关阅读 更多 +