ECShop 网上商店系统支持论坛 » 意见与建议 » 2.5至2.6中的robots.txt 有错误

floorten 发表于 2008-5-20 14:01

2.5至2.6中的robots.txt 有错误

User-agent: *
Disallow: /admin/
Disallow: /cert/
Disallow: /data/
Disallow: /includes/
Disallow: /install/
Disallow: /languages/
Disallow: /plugins/
Disallow: /templates/
Disallow: /themes/
Disallow: /upgrade/
Disallow: /api/
Disallow: /js/
Disallow: affiche.php
Disallow: captcha.php
Disallow: comment.php
Disallow: cycle_image.php
Disallow: goods_script.php
Disallow: receive.php
Disallow: region.php
Disallow: respond.php

最后几个，如果是想禁止蛛蛛爬行的话，应该是这样的形式
Disallow:  /affiche.php

另外
affiche.php
captcha.php
comment.php
cycle_image.php
goods_script.php
receive.php
region.php
respond.php
这几个文件禁止反问意义不大，最应该禁止的是
Disallow: /pick_out.php
Disallow: /gallery.php
Disallow: /search.php
Disallow: /flow.php
因为蛛蛛会顺着这些文件去爬行很多客人浏览后产生的垃圾文件（几千到几万都有可能） 例如：
你的域名/pick_out.php?cat_id=9&attr%5B173%5D=8%5C%22+TFT&attr%5B179%5D=Yes

这样造成大量重复内容，而导致搜索引擎的惩罚而降权。

bugii 发表于 2008-5-20 19:54

mark 已收录
会在确认后收录

gongjb9 发表于 2008-9-14 01:26

不错，研究一下！

asher 发表于 2008-9-14 21:20

Disallow: /gallery.php

为什么要禁止呢？这个可以设计一下，当一个页面，增加收录也挺好的吧。

Disallow: /pick_out.php

这个我都直接删掉了

bugii 发表于 2008-9-16 11:12

pick_out.php gallery,php  这些是应当收录的

chaoliuxi 发表于 2008-9-22 18:01

‎/category.php?id=5&price_min=0&price_max=0&filter_attr=&page=2&sort=goods_id&order=DESC
‎‎/category.php?id=5&price_min=0&price_max=0&filter_attr=&page=3&sort=goods_id&order=DESC
‎‎/category.php?id=5&price_min=0&price_max=0&filter_attr=&page=4&sort=goods_id&order=DESC

‎‎/category.php?id=5&price_min=0&price_max=0&filter_attr=&page=5&sort=goods_id&order=DESC
‎‎/category.php?page=1&category=5&keywords=&sort=goods_id&order=DESC&cat=5&brand=0&price_min=0&price_max=0&filter_attr=&display=list‎

这种类型的地址如果禁止搜索的收录。

‎/category.php?id=1&brand=56&price_min=0&price_max=0&filter_attr=&page=1&sort=goods_id&order=DESC
‎‎/category.php?id=1&brand=56&price_min=0&price_max=0&filter_attr=&page=4&sort=goods_id&order=DESC
‎‎/category.php?id=1&brand=56&price_min=0&price_max=0&filter_attr=&page=8&sort=goods_id&order=DESC

‎‎/category.php?id=1&brand=56‎‎/category.php?page=4&category=1&keywords=&sort=goods_id&order=DESC&cat=1&brand=56&price_min=0&price_max=0&filter_attr=&display=list‎

太多重复标题了

bugii 发表于 2008-9-22 21:28

这个是没办法避免的。。这是运营上面对的问题了
如果您觉得太多了  还是定制开发吧

查看完整版本: 2.5至2.6中的robots.txt 有错误