部分使用Discuz的朋友,认为静态链接利于搜索引擎爬虫抓取,因此开启了archiver功能。
Discuz archiver功能缺点:页面中的keywords,description都是相同的,造成很多页面重复度高的情况。
因此开启该功能后,可能爬虫算法识别到重复页面过多,反而导致搜索引擎降权。

而且archiver帖子正文无法解析UBB代码,因此加重颜色、加粗、加链接等都失去了作用。

综合上述原因,不建议开启archiver功能,关闭和开启位置:


Discuz后台 -> 全局 ->站点功能 ->管理相关,开启论坛archiver功能,选择“否”

如果一定要开启的话,可以参考如下内容优化:

1.给权威链接加上Canonical标签,规范下最有价值URL。

对一组内容完全相同或高度相似的网页,通过使用Canonical标签可以告诉搜索引擎哪个页面为规范的网页,能够规范网址并避免搜索结果中出现多个内容相同或相似的页面,帮助解决重复内容的收录问题。

2.使用 robots.txt 屏蔽搜索引擎爬虫收录archiver文件,这样一来爬虫遍历速度会加快,同时也不用担心收录到相同内容。

User-agent: *
Disallow: /archiver/

搜索引擎爬虫在访问一个网站时,首先会检查该网站的根域下是否有robots.txt文件,这个文件用于指定爬虫在您网站上抓取的范围。
因此,可以通过在网站根目录创建robots.txt文件声明网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论

微信小程序

微信扫一扫体验

立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部