十五年测试老手，长期负责WEB\APP 项目测试，目前主要负责团队管理工作。

awk分析nginx日志，获取pv

上一篇 / 下一篇  2011-06-11 16:10:56 / 个人分类：nginx

查看( 5595 ) / 评论( 0 ) / 评分( 0 / 0 )

最近在深入系统运维的事情，从服务器配置、调优、维护，到各种脚本编写。实现自动化智能运维的目标还要很远。51Testing软件测试网.sX4~ ~$p'@^4m4r

从nginx的日志中分析每日有效的pv和各搜索引擎爬虫的请求数。脚本用awk实现。51Testing软件测试网/QP|0E\T

函数库文件 stat_func.sh

^N!Y3?8t A-mw0

51Testing软件测试网i:B Rj`:m


+q,Y+_~'e.D0
  1. #!/bin/bash  
  2. stat_log_path=/usr/local/qqsa/result  
  3. stat_nginx_log()  
  4. {  
  5.     local basename=`basename $1`  
  6.     local newfile="${stat_log_path}/${basename%%.*}.pv.`date +'%Y-%m-%d'`"  
  7.     awk -F\" '  
  8.     {  
  9.     if( $2 ~ /css|txt|ico/ ) res["static"]++;  
  10.     else if ( $6 ~ /Baiduspider/ ) {res["baidu"]++;res["spider"]++;}  
  11.     else if ( $6 ~ /Googlebot/ ) {res["google"]++;res["spider"]++;}  
  12.     else if ( $6 ~ /Yahoo! Slurp/) {res["yahoo"]++;res["spider"]++;}  
  13.     else if ( $6 ~ /Sogou web spider/) {res["sogou"]++;res["spider"]++;}  
  14.     else if ( $6 ~ /Sosospider/) {res["soso"]++;res["spider"]++;}  
  15.     else if ( $6 ~ /YodaoBot/) {res["youdao"]++;res["spider"]++;}  
  16.     else if ( $6 ~ /msnbot/) {res["msnbot"]++;res["spider"]++;}  
  17.     else if ( $6 ~ /iaskspider/) {res["sina"]++;res["spider"]++;}  
  18.     else res["good"]++;  
  19.     }  
  20.     END {  
  21.     for(item in res) print item ":" res[item]   
  22.     }' $1 > $newfile  
  23. }  

JM`9t#^Na"S_4C~8d+\x0

Ju^"n;{0

执行文件 stat_every_day.sh51Testing软件测试网:TBvD F5n }} _


收藏 举报

TAG: awk nginx Nginx

 

评分：0

我来说两句

Open Toolbar