Drupal 8去除重复URL路径

主题:
作者:anxin
日期:2017-09-12
分享:

我们使用Drupal 8创建完网站,部署到产品环境后(部署到我们的购买的服务器上),在一段时间以后,搜索引擎会收录我们Drupal 8站点的内容,但是,你会发现搜索引擎收录的内容中有很多重复的URL路径,网站的一篇内容被百度重复收录了好几条,而这几条记录都是不同的URL路径,以下以实例说明。

以本篇文章为例:

  • 标题:Drupal 8去除重复URL路径
  • 自定义URL:https://www.yuzhi100.com/article/drupal-8-quchu-chongfu-url-lujing

那么百度应该只收录如上一条标题和URL路径信息,但是百度还重复收录了以下几条URL路径信息:

  1. https://www.yuzhi100.com/node/147
  2. www.yuzhi100.com/node/147
  3. yuzhi100.com/node/147
  4. www.yuzhi100.com/article/drupal-8-quchu-chongfu-url-lujing
  5. yuzhi100.com/article/drupal-8-quchu-chongfu-url-lujing

这些URL路径不同,那么百度就认为它们是不同的文章,百度在抓取它们是会判断它们的内容相同,即几篇文章的内容相同,百度会认为你网站的内容重复,这样不利于百度对页面的收录,或者网站被降权。

1、只收录Drupal 8网站的用户自定义的URL路径

使百度只收录Drupal 8站点的用户自定义的URL路径别名,如:只收录URL路径/article/drupal-8-quchu-chongfu-url-lujing,而不收录URL路径/node/147

编辑Drupal 8网站根目录下的robots.txt文件:

添加如下记录,使搜索引擎不抓取/node/*页面

Disallow: /node/*

Disallow: /index.php/node/*

2、只收录Drupal 8网站的一个特定域名下的内容

如在本例中只收录https://www.yuzhi100.com域名下的内容,而不收录其他域名:http://www.yuzhi100.comhttp://yuzhi100.com域名的内容,需要配置域名重定向,具体查看:Drupal 8网站www和非www之前域名重定向

标签:
本文链接:https://www.yuzhi100.com/article/drupal-8-quchu-chongfu-url-lujing

本文版权归知站所有,未经站长同意不得转载,谢谢尊重作者劳动成果!

作者:anxin