【转】awk分析nginx日志，获取pv

上一篇 / 下一篇 2011-06-14 13:49:15 / 个人分类：nginx

查看( 1589 ) / 评论( 0 ) / 评分( 0 / 0 )

最近在深入系统运维的事情，从服务器配置、调优、维护，到各种脚本编写。实现自动化智能运维的目标还要很远。

从nginx的日志中分析每日有效的pv和各搜索引擎爬虫的请求数。脚本用awk实现。

函数库文件 stat_func.sh

51Testing软件测试网9O.B5m2} N

view plaincopy to clipboardprint?
#!/bin/bash  
stat_log_path=/usr/local/qqsa/result  
stat_nginx_log()  
{  
    local basename=`basename $1`  
    local newfile="${stat_log_path}/${basename%%.*}.pv.`date +'%Y-%m-%d'`"  
    awk -F\" '  
    {  
    if( $2 ~ /css|txt|ico/ ) res["static"]++;  
    else if ( $6 ~ /Baiduspider/ ) {res["baidu"]++;res["spider"]++;}  
    else if ( $6 ~ /Googlebot/ ) {res["google"]++;res["spider"]++;}  
    else if ( $6 ~ /Yahoo! Slurp/) {res["yahoo"]++;res["spider"]++;}  
    else if ( $6 ~ /Sogou web spider/) {res["sogou"]++;res["spider"]++;}  
    else if ( $6 ~ /Sosospider/) {res["soso"]++;res["spider"]++;}  
    else if ( $6 ~ /YodaoBot/) {res["youdao"]++;res["spider"]++;}  
    else if ( $6 ~ /msnbot/) {res["msnbot"]++;res["spider"]++;}  
    else if ( $6 ~ /iaskspider/) {res["sina"]++;res["spider"]++;}  
    else res["good"]++;  
    }  
    END {  
    for(item in res) print item ":" res[item]   
    }' $1 > $newfile  
}  

执行文件 stat_every_day.sh

51Testing软件测试网`s;NU$}%xp

view plaincopy to clipboardprint?
#!/bin/bash  
. ./stat_func.sh  
date=`date +'%Y-%m-%d'`  
find /data/cs_log_backup/${date} -name "*.access.*" | \  
while read file  
do  
    $( stat_nginx_log "$file" )  
done  