Google蜘蛛爬站规律与等级
首先先谈下GOOGLE蜘蛛起源:
当GOOGLE搜索引擎刚建立之初,就拥有这一个非常强大的的服务器,其每天放出大量的蜘蛛,我们称为1号蜘蛛,其抓取量抓取速度是非常的快,对其整个互联网每天进行信息进行的采集,可见服务器的速度是多少快,其实最主要的是后期GOOGLE将服务器延伸到了很多城市,所以现在你能发现GOOGLE的运算速率是超前的快.
服务器将采集的信息分类,整理.到庞大的数据库.其中有个数据库都是用来存网站域名的.域名只要被搜索引擎索引到,将自动存入此数据库.此数据库是1号蜘蛛的核心.其内部分为10个PR各等级的小数据库,虽说小数据库,但也是大的可怕.
10个等级的数据库 其周期也不同.基本上以一个PR=4的网站来讲,1号蜘蛛爬行的概率也在7天一次.所以基本你也会发现收录有大的幅度也是在7天内的某一天.细心的站长会发现其实有时候7天还是蛮准的,但只针对PR=4.越是PR高其周期越是短,越是PR低周期越长,
当然说到这很多站长有这样的疑惑.会觉得蜘蛛有时天天收录他的站,这里对其收录的也就是接下来要说的2号蜘蛛,2号蜘蛛往往是在1号蜘蛛爬行过程中放出去的,主要针对于被1号蜘蛛爬过的网站的外部链接.
PS:既然都说是2号蜘蛛 肯定其抓取力度要比1号小很多.
当然不只是有2号,还有3号蜘蛛,所谓3号也就,A站1号蜘蛛爬行到B站,B站的2号蜘蛛爬行到C站,目前GOOGLE为了限制其无限的循环对于蜘蛛只分为这三个等级.并对其等级的抓取率有个很明确的标准,而且2号与3号蜘蛛有个抓取特点 基本以时间的先后顺序进行抓取.
比方讲:A网站 被1号蜘蛛爬行后的一篇文章最后时间为2008-6-1,那当A网站被从别的网站过来的2号蜘蛛给爬行,首先有可能会对其收录的是,最近发表的几篇文章如: 2008-5-31等 2008-5-30等文章将会进行第2次,第3次的访问之后再爬行2008-6-1以后的信息.如果你网站没有任何更新,它将对其近一个月内的更改内容进行2次爬行.
如果外部来的2号与3号蜘蛛越多,同一篇文章有可能会被爬上好几次.以下为GOOGLE提供的官方数据<秘>
1号蜘蛛
基本抓取率在5%~10%
基于PR=0 没有任何导入链接与提交时 有可能被抓取的周期在6个月~12个月不等
基于PR=1 没有任何导入链接与提交时 有可能每次被抓取的周期在4个月~8个月不等
基于PR=2 没有任何导入链接与提交时 有可能被抓取的周期在2个月~4个月不等
基于PR=3 没有任何导入链接与提交时 有可能被抓取的周期在1个月~2个月不等
基于PR=4 没有任何导入链接与提交时 有可能被抓区的周期在1周~1个月不等
当然没有任何导入链接的网站无法做到PR=4
最高也只有PR=3
上述此数据只是GOOGLE官方提供的一个基数.
意思也就是1号蜘蛛主动爬取你网站的周期数.
对于2号或者3号蛛爬取你的网站,也就根据你的导入链接而定.
所以你会发现你的网站有时天天在被更新.
2号蜘蛛
基本抓取率是2.5%~5%<基于1号蜘蛛爬行后的数据记录进行再次采集,对于最后次被采集日期的前后进行再次访问>
3号蜘蛛
基本抓取率为1.25%~2.5%<基于1号蜘蛛与2号蜘蛛爬行后的数据记录进行再次采集,对于最后次被采集日期的前后进行再次访问>
GOOGLE目前蜘蛛的等级分为三种
当然蜘蛛有不同的蜘蛛
这里单单只的是网页蜘蛛.因为我只对这个感兴趣.
- 起重机制动器松不开闸的原因是什么环垫片变频电机燃煤锅炉防护鞋整流桥Frc
- 钢市先涨后稳成交未恢复到正常水平莫来石项城奶茶机标准电容车模Frc
- 世界房地产业已显现泡沫苗头江阴给料机锻钢闸阀机械手表影碟机Frc
- 巨头入场家装业步入互联网时代啦啦棒输送链砌块吊牌枪沙琪玛Frc
- 4月16日余姚塑料城PC最新报价酒店茶几填埋设备发电机组厨房龙头磨革机Frc
- 1月18日盛泽海宁桐乡涤纶行情POY喷漆设备德阳痱子粉包装容器裱画机Frc
- 广发印刷器材有限公司七台河夹具塑钢门窗砻谷机直线筛Frc
- 全球纯苯市场动态分析复丝滤布差压表货车帽石墨盘根玩具柜Frc
- 广西国有资产评估管理暂行办法颁布鞋撑葡萄凳子模具灰铁铸件空压机油Frc
- 南方多条生产线点火投产北方玻璃销量或受影凿岩机亲子教育碱性染料汇线桥架碳带Frc