搜索引擎蜘蛛抓取有哪些策略?

点击次数:  更新时间:19/07/16 18:07:07 来源:www.sdgmarks.com

      搜索引擎的蜘蛛抓取网页是有一定的规律的,不会去随便抓取网页的,并且,蜘蛛是通过超链接来抓取网页的,下面给大家分享一些搜索引擎蜘蛛抓取的策略。


  

  

     策略一、PR优先策略:

  
  PR优先策略是一个非常注明的链接分析方法,它主要用于衡量网页的重要性,通常它会计算一个页面上URL的PR,按照从高到低的顺序进行抓取,由于PR值的计算,需要不断的迭代更新,通常这里所采用的都是非完全PageRank策略。
  
  策略二、反链策略:
  
  反链策略,目前,没有一个明确的官方文档说明,它主要是基于反链的数量和种子页面的权威度,二者进行加权评估后,按照优先顺序抓取。
  
  策略三、社会化媒体分享策略:
  
  社会化媒体分享策略,主要是指一个URL在社交媒体中的流行度,它的转载量,评论,转发量,综合指标的评估。如果你的URL没有在百度网址提交,而是出现在社交媒体中,比如:头条文章,也是很有可能被百度抓取的。

Copyright © 2019 All Rights Reserved.     备案号:鲁ICP备18007302号-2 临沂网站建设临沂小程序开发临沂网站制作临沂网站建设临沂网站优化推广临沂公众号开发临沂APP开发就找山东吉迈网络科技有限公司 网站地图