发新话题
打印

百度蜘蛛智商真的不高!有例为证

百度蜘蛛智商真的不高!有例为证

在日志文件发现百度蜘蛛来过,只有一条记录:
2008-04-20 00:12:26 W3SVC69 219.148.111.143 GET /category-1-b0.html][color= - 80 - 61.135.162.238 Baiduspider+(+http://www.baidu.com/search/spider.htm) bjfzpf.com 404 0 64
很明显是在某个论坛发现我网址:http://bjfzpf.com/category-1-b0.html
可以它为什么怎么这么笨,就抓成这样的地址了呢:/category-1-b0.html][color= - 80
当然会打不开嘛 晕了 发现好几天都有这个现象

TOP

他为了节省数据,都是省略域名,实际域名都已存档,只是分析根目录下文件,没什么奇怪的
专业EC扩展  演示:www.painting.net.cn

TOP

引用:
原帖由 wufanan 于 2008-4-21 02:07 发表
他为了节省数据,都是省略域名,实际域名都已存档,只是分析根目录下文件,没什么奇怪的
说的不是这个问题,网址给抓错了 category-1-b0.html][color=

TOP

发新话题