防止搜索引擎收录wordpress中带replytocom的链接页面
2014-04-05 wordpress , 百度相关

这个细节相信大部分童鞋都没感觉—百度会收录带replytocom链接的页面;

可能是Baiduspider在这里实在找不到能收录的页面了,没事去抓取评论中出现的链接。

于是收录的页面中出现相同的页面:

wordpress中带replytocom的链接页面

收录的重复页面都是"原文链接?replytocom=评论ID"这类格式的。

如上图收录的是http://aibing.cc/1497?replytocom=454页面,

打开链接还是到http://aibing.cc/1497那篇文章;

大量replytocom的危害:

这使搜索引擎收录大量重复的信息内容,有损于用户体验。严重的可能导致搜索引擎k站。

更奇葩的是百度最近是不断来收录我文章中带replytocom的页面

爱兵博客中带replytocom的链接页面

 

看了百科对replytocom的介绍,及解决办法,立马禁止了蜘蛛抓取replytocom;

解决办法:

在在robots.txt规则中添加下条,禁止蜘蛛抓取

Disallow: /*?replytocom=

或者查看本博的robots.txt规则设置:http://aibing.cc/robots.txt

或者前往百度百科查看更多对replytocom详情

[butlink href="http://baike.baidu.com/link?url=cQKzxGl-0YTgw_rNZnlUVNlk3oPnDliExpWIBf2JYrEcPolzKB0P_e3yw9L7MvQ782y6j73EWHLrWSAvpPrg2q"]replytocom百科[/butlink]

闲话:

百度这是闹哪样啊~收录页面的链接部分是wordpress默认的固定链接/?p=ID型;

收录页面的链接部分是默认的固定链接

这种固定链接形式现在谁会用啊~~~~

  1. 在robots里禁止了 可惜百度蜘蛛支持不太好 别的搜索引擎都改了 就百度收录还是那样…

    1. 郭爱兵 郭爱兵

      去、Akismet都把你们的评论扔到垃圾评论去了,现在才发现 :twisted:

  2. :!: :cool: 目测百度木jj

  3. akismet的过滤机制也不知道是怎么判断的

Leave a Reply

如果您是第一次在本站留言,需要审核后才会显示内容!