没有区分爬虫与访客，导致SEO效果很差
时间：2011-03-16 来源：step
因为网站是按城市运营的，每个城市的人或爬虫看到的页面内容不同。
原来以为SEO做得很好，后来用
搜索引擎模拟抓取页面
，发现重点内容没有被爬到。
经过调试代码，发现爬虫所在的城市是小地方，页面根据城市来获取内容，事实上没有什么内容可以获取。
这样导致SEO效果大打折扣。
相关阅读 更多 +
