商道通企业营销问诊监理平台,帮您找到好专家!
企业网络营销服务
咨询热线: 18954161236

当前位置:首页  >  营销百科  >  营销通  >  分不清楚爬行、抓取、索引、收录的是什么的,请看这里了!

分不清楚爬行、抓取、索引、收录的是什么的,请看这里了!

投稿人:小商君 2017-07-31 16:46:00 2359

文章摘要: SEO站长们肯定都知道爬行、抓取、索引、收录等这些术语,但是在优化的过程中,很多SEO并没有理解爬行、抓取、索引、收录这些概念到底指的是什么,区别在哪,noindex、nofollow、robots文件的功能又是什么。对

  SEO站长们肯定都知道爬行、抓取、索引、收录等这些术语,但是在优化的过程中,很多SEO并没有理解爬行、抓取、索引、收录这些概念到底指的是什么,区别在哪,noindex、nofollow、robots文件的功能又是什么。对这些概念没有精准理解,处理大型网站结构,决定什么页面需要被抓取,什么需要被索引,哪些页面需要禁止抓取、索引等等情况时,就很难明白该怎么做。今天小道给大家整理一下,希望可以帮助到大家。

  爬行是什么?

  爬行指的是搜索引擎蜘蛛从已知页面上解析出链接指向的URL,然后沿着链接发现新页面(也就是链接指向的URL)的过程。当然,蜘蛛并不是发现新URL马上就爬过去抓取新页面,而是把发现的URL存放到待抓地址库中,蜘蛛按照一定顺序从地址库中提取要抓取的URL。

  抓取是什么?

  抓取是搜索引擎蜘蛛从待抓地址库中提取要抓的URL,访问这个URL,把读取的HTML代码存入数据库。蜘蛛的抓取就是像浏览器一样打开这个页面,和用户浏览器访问一样,也会在服务器原始日志中留下记录。

  索引是什么?

  索引指的是将一个URL的信息进行整理,存入数据库,也就是索引库,用户搜索时,搜索引擎从索引库中提取URL信息并排序展现出来。索引的英文是index。索引库是用于搜索的,所以被索引的URL是可以被用户搜索到的,没有被索引的URL用户在搜索结果中是看不到的。

  要注意的是,所谓“一个URL的信息“,并不限于蜘蛛从URL上抓取来的内容,还有来自其它来源的信息,如外部链接、链接的锚文字等。有的时候,索引库中关于这个URL的的信息,根本没有从这个URL抓取来的内容,但搜索引擎知道这个URL的存在,并且有一些其它信息。

  抓取和索引不是一回事。

  收录是什么?

  小道觉得收录和索引没有区别。只不过收录是从搜索用户角度看的,搜索时能找到这个URL,就是这个URL被收录了。从搜索引擎角度看,URL被收录了,也就是这个URL的信息在索引库中存在。英文并没有收录这个词,和索引用的是同一个词index。

  noindex的作用是什么?

  面头信息中放上meta noindex标签是告诉搜索引擎不要索引这个URL,也就是用户搜索时找不到这个URL的信息,这个URL不会返回在搜索结果列表中。

  noindex不是告诉搜索引擎不要抓取这个URL,实际上,noindex要起作用,这个URL是必须先被抓取的,不然搜索引擎怎么看到页面HTML代码中有noindex标签呢?

  robots文件的作用是什么?

  robots文件是告诉搜索引擎,某些URL不要抓取。注意,这里说的是不要抓取,没说不要索引。和noindex是正相反的。

  nofollow的作用是什么?

  给链接加上nofollow属性是告诉搜索引擎,不要沿着这个链接爬行,就当这个链接不存在。注意,nofollow只是告诉蜘蛛不要爬这个链接,没有说不要抓取链接指向的URL,也没有说不要索引链接指向的URL,nofollow既没禁止抓取,也没禁止索引。

  上面这些概念对于站长们来说很重要,如果还没看懂,小道也不知道该怎么再解释了,只能建议再多读几遍。

分享到:
©2012-2020 商道通在线(北京)科技有限公司 版权所有 京ICP备17039987号-1

京公网安备 11010502030885号

用户登录

Sign in
*
*
  忘记密码?
  如果您是新用户,请点击这里注册
 

友情提示

您的余额不足,请到充值中心充值或选择其他版本

立即充值