这个细节相信大部分童鞋都没感觉—百度会收录带replytocom链接的页面;
可能是Baiduspider在这里实在找不到能收录的页面了,没事去抓取评论中出现的链接。
于是收录的页面中出现相同的页面:
收录的重复页面都是“原文链接?replytocom=评论ID”这类格式的。
如上图收录的是https://aibing.cc/1497?replytocom=454页面,
打开链接还是到https://aibing.cc/1497那篇文章;
大量replytocom的危害:
这使搜索引擎收录大量重复的信息内容,有损于用户体验。严重的可能导致搜索引擎k站。
更奇葩的是百度最近是不断来收录我文章中带replytocom的页面
看了百科对replytocom的介绍,及解决办法,立马禁止了蜘蛛抓取replytocom;
解决办法:
在在robots.txt规则中添加下条,禁止蜘蛛抓取
Disallow: /*?replytocom=
或者查看本博的robots.txt规则设置:https://aibing.cc/robots.txt
或者前往百度百科查看更多对replytocom详情
[butlink href=”http://baike.baidu.com/link?url=cQKzxGl-0YTgw_rNZnlUVNlk3oPnDliExpWIBf2JYrEcPolzKB0P_e3yw9L7MvQ782y6j73EWHLrWSAvpPrg2q”]replytocom百科[/butlink]
闲话:
百度这是闹哪样啊~收录页面的链接部分是wordpress默认的固定链接/?p=ID型;
这种固定链接形式现在谁会用啊~~~~
在robots里禁止了 可惜百度蜘蛛支持不太好 别的搜索引擎都改了 就百度收录还是那样…
去、Akismet都把你们的评论扔到垃圾评论去了,现在才发现 :twisted:
:!: :cool: 目测百度木jj
akismet的过滤机制也不知道是怎么判断的