商道通企业营销问诊监理平台,帮您找到好专家!
企业网络营销服务
咨询热线: 18954161236

当前位置:首页  >  营销百科  >  营销通  >  SEO必须明白的知识:网站日志分析

SEO必须明白的知识:网站日志分析

投稿人:小商君 2016-06-12 15:54:00 2444

文章摘要: 日志分析的意义是什么?运营人员进行日常的SEO优化时,经常需要用到的工具之一就是网站日志分析,这是一项必备的基本技能。它不仅可以分析爬虫抓取页面有效性,读取蜘蛛返回的状态码,还可以及时发现网站存在的错误并识别蜘蛛无法爬取

  日志分析的意义是什么?运营人员进行日常的SEO优化时,经常需要用到的工具之一就是网站日志分析,这是一项必备的基本技能。它不仅可以分析爬虫抓取页面有效性,读取蜘蛛返回的状态码,还可以及时发现网站存在的错误并识别蜘蛛无法爬取的页面,排查网站页面中存在的404错误页面,500服务器错误等这些噪音内容上噪音页面上(重复页面,低质量页面,空内容页面,404页面,不排名页面等)。
 

  一、网站日志可以为我们做什么?
 

  可以分析爬虫抓取页面有效性(减少搜索引擎在一些噪音页面上:重复页面,低质量页面,空内容页面,404页面,不排名页面 的抓取频率);页面重要内容是否被爬虫完整爬到并且快速遍历;正确分辨蜘蛛爬虫。
 

  二、常见HTTP状态码解读:

  200代码,表示蜘蛛爬取正常;

  404代码,访问的这个链接是错误链接;

  301代码,永久重定向;

  302代码,表示临时重定向;

  304代码,客户端已经执行了GET,但文件未变化;

  500代码,表示网站内部程序或服务器有错。
 

  日志里的含义,可以大家看下网站日志中各个数据都代表什么意思,总之这个文件是记录的一天发生在网站上的一些行为。当我们拿到这么一个网站日志,我们就可以审视我们的日志,并且通过对日志文件分析解决网站存在的问题。
 


 

  三、日志代码解读:
 

  从日志文件当中可以解读出两个部分内容:
 

  1、搜索引擎抓取情况:
 

  从日志文件中,可以大家看到搜索引擎抓取了一些404页面及低质量重负页面(噪音行为)

  备注:可以通过nslookup ip 识别蜘蛛的真假

  /date-2016-01.html(低质量重负页面)

  /author-1.html(低质量重负页面)

  /downloads/(低质量页面)

  /contact.html(死链接接),但这里有个问题,这个页面返回的状态码为200而不是404,但页面却跳转到404页面,从中可以发现服务器设置一定有问题。

 

  所以,当我们有一些页面不希望他们抓取的时候,我们需要在robots中进行规范。规范robots一个重要的手段,就是robots.txt。爬虫纠偏,让爬虫花更多的精力放在我的详情页面上。
 

  2、用户访问网站情况:
 

  关于用户网站访问情况, 主要分析用户访问网站行为轨迹及用户属性。

  对于一个专业的seoer来说,网站日志分析是我们必须要精通的事情,也希望以上的专业知识能够为大家带来帮助。

分享到:
©2012-2021 商道通在线(北京)科技有限公司 版权所有 京ICP备17039987号-1

京公网安备 11010502030885号

用户登录

Sign in
*
*
  忘记密码?
  如果您是新用户,请点击这里注册
 

友情提示

您的余额不足,请到充值中心充值或选择其他版本

立即充值