Accesslog分析常用命令 awk

awk 命令

用途

在文件中查找与模式匹配的行，然后在它们上面执行特定的操作。

语法

awk[ -FEre] [ -vAssignment] ... { -fProgramFile|Program'} [ [ File ... | Assignment ... ] ] ...

描述

awk命令利用一组用户提供的指令来将一组文件和用户提供的扩展正则表达式比较，一次一行。然后在任何与扩展正则表达式匹配的行上执行操作。awk处理的最大记录大小为 10KB。

awk命令的模式搜索比grep命令的搜索更常用，且它允许用户在输入文本行上执行多个操作。awk命令编程语言不需要编译，并允许用户使用变量、数字函数、字符串函数和逻辑运算符。51Testing软件测试网3i\(w{!j
C

awk命令受到LANG、LC_ALL、LC_COLLATE、LC_CTYPE、LC_MESSAGES、LC_NUMERIC、NLSPATH和PATH环境变量的影响。51Testing软件测试网6E4^yN2f&k[u

本章中包括以下主题：51Testing软件测试网m8E8Y zg-V

• awk 命令的输入
• awk 命令的输出
• 通过记录和字段的文件处理
• awk 命令编程语言
  • 模式
  • 操作
  • 变量
  • 特殊变量
• 标志
• 示例

awk 命令的输入

awk命令采取两种类型的输入：输入文本文件和程序指令。

输入文本文件

搜索和操作在输入文本文件上执行。文件如下指定：

• 在命令行指定File变量。
• 修改特殊变量ARGV和ARGC。
• 在未提供File变量的情况下提供标准输入。

如果用File变量指定多个文件，则文件以指定的顺序处理。51Testing软件测试网/V
s0_Evh

程序指令

用户提供的指令控制awk命令的操作。这些指令来自命令行的‘Program’变量或来自用-f标志和ProgramFile变量一起指定的文件。如果指定多个程序文件，这些文件以指定的顺序串联，且使用指令的生成的顺序。

awk 命令的输出

awk命令从输入文本文件中的数据产生三种类型的输出：

• 选定的数据可以打印至标准输出，此输出完全同于输入文件。
• 输入文件的选定部分可以更改。
• 选定数据可以更改并可打印至标准输出，此输出可以同于或不同于输入文件的内容。

可以在同一个文件上执行所有三种类型的输出。awk命令识别的编程语言允许用户重定向输出。

通过记录和字段的文件处理

文件以下列方式处理：51Testing软件测试网.q+kz%~6cV|

1. awk命令扫描它的指令，并执行任何指定为在读取输入文件前发生的操作。

   awk编程语言中的BEGIN语句允许用户指定在读取第一个记录前要执行的一组指令。这对于初始化特殊变量特别有用。51Testing软件测试网E8q$e B4Dp

2. 从输入文件读取一个记录。

   记录是由记录分隔符隔开的一组数据。记录分隔符的缺省值是换行字符，它使文件中的每一行成为一个单独的记录。记录分隔符可以通过设置RS特殊变量来更改。51Testing软件测试网)J$B`rl,Z"F

3. 记录是相对于awk命令的指令指定的每种模式比较。

   命令指令可以指定应比较记录内的特定字段。缺省情况下，字段由空白区（空格或跳格）隔开。每个字段由一个字段变量表示。记录中的第一个字段指定为$1变量，第二个字段指定为$2变量，以此类推。整个记录指定为$0变量。字段分隔符可以通过在命令行使用-F标志或通过设置FS特殊变量来更改。FS特殊变量可以设置为下列值：空格、单个字符或扩展正则表达式。51Testing软件测试网8C'f'{K~

4. 如果一个记录与一个模式相匹配，则任何与该模式相关的操作都在该记录上执行。
5. 在记录和每个模式比较且执行了所有指定操作以后，从输入读取下一个记录；在从输入文件读取所有的记录之前，该进程重复。
6. 如果已经指定了多个输入文件，则下一个文件打开，且在读取所有的输入文件之前，该进程重复。
7. 在读取了最后一个文件中的最后一个记录后，awk命令执行任何指定为在输入处理后发生的指令。

   awk编程语言中的END语句允许用户指定在读取最后一个记录后要执行的操作。这对于发送有关awk命令完成了什么工作的消息特别有用。

   3C#iEv1ok(A1O'}0

awk 命令编程语言

awk命令编程语言由以下格式的语句构成：51Testing软件测试网0sl~x-H"s^g

Pattern{Action}

如果一个记录与指定模式相匹配，或包含与该模式匹配的字段，则执行相关的操作。可以指定没有操作的模式，这种情况下，包含该模式的整行写至标准输出。为每个输入记录执行指定的没有模式的操作。51Testing软件测试网,{~b`2{s Q

模式

在awk命令语言语法中使用四种类型的模式：

• 正则表达式
• 关系表达式
• 模式的组合
• BEGIN 和 END 模式

正则表达式

awk命令使用的扩展正则表达式类似于grep或egrep命令使用的表达式。扩展正则表达式的最简单的形式就是包括在斜杠中的一串字符。例如，假定一个名为testfile的文件具有以下内容：

smawley, andy
smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

输入以下一行命令：

51Testing软件测试网QR1~(d!C

awk '/smi/' testfile

将把包含smi字符串的具体值的所有记录打印至标准输出。在这个示例中，awk命令的程序'/smi/'是一个没有操作的模式。输出是：

smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

以下特殊字符用于形成扩展正则表达式：

awk '/smith+ern/' testfile

smithern, harry
smithhern, anne

awk '/smith?/' testfile

smith, alan
smithern, harry
smithhern, anne
smitters, alexis

awk '/allen 
| 
alan /' testfile

smiley, allen
smith, alan

awk '/a(ll)?(nn)?e/' testfile

smiley, allen
smithhern, anne

awk '/l{2}/' testfile

smiley, allen

awk '/t{2,}/' testfile

smitters, alexis

awk '/er{1, 2}/' testfile

smithern, harry
smithern, anne
smitters, alexis

awk '/sm[a-h]/' testfile

smawley, andy

awk '/sm[^a-h]/' testfile

smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

awk '$1 ~ /n/' testfile

smithern, harry
smithhern, anne

awk '$2 ~ /^h/' testfile

smithern, harry

awk '$2 ~ /y$/' testfile

smawley, andy
smithern, harry

awk '/a..e/' testfile

smawley, andy
smiley, allen
smithhern, anne

awk '/a.*e/' testfile

smawley, andy
smiley, allen
smithhern, anne
smitters, alexis

/a\/\//

识别的转义序列

awk命令识别大多数用于 C 语言约定中的转义序列，以及awk命令本身用作特殊字符的几个转义序列。转义序列是：51Testing软件测试网"]9h"n3W O,xW8g

注：除了在gsub、match、split和sub内置函数中，扩展正则表达式的匹配都基于输入记录。记录分隔符字符（缺省情况下为换行字符）不能嵌套在表达式中，且没与记录分隔符字符匹配的表达式。如果记录分隔符不是换行字符，则可与换行字符匹配。在指定的四个内置函数中，匹配基于文本字符串，且任何字符（包含记录分隔符）可以嵌套在模式中，这样模式与适当的字符相匹配。然而，用awk命令进行的所有正则表达式匹配中，在模式使用一个或多个 NULL（空）字符将生成未定义的结果。

关系表达式

关系运算符 <（小于）、>（大于）、<=（小于或等于）、>=（大于或等于）、= =（等于）和 !=（不等于）可用来形成模式。例如，模式：51Testing软件测试网9G8[`S_|/n

$1 < $4

将与第一个字段小于第四个字段的记录匹配。关系运算符还和字符串值一起使用。例如：51Testing软件测试网(E'Zt4W3[;k

7@!P9Wg/N G:u'X0

$1 =! "q"

将与第一个字段不是q的所有记录匹配。字符串值还可以根据校对值匹配。例如：51Testing软件测试网Xpy!}]mS

DL+V3|L(?K0

$1 >= "d"

将与第一个字段以字符a、b、c或d开头的所有记录匹配。如果未给出其它信息，则字段变量作为字符串值比较。

模式的组合

可以使用三种选项组合模式：

• 范围由两种以 ,（逗号）隔开的模式指定。操作在每个以匹配第一个模式的记录开始的每个记录上执行，并通过匹配第二个模式的记录（包含此记录）继续。例如：

  ;g[K_;Egs9K051Testing软件测试网 y pPr9}+j0E

  /begin/,/end/

  与包含字符串begin的记录以及该记录和包含字符串end之间的所有记录（包含包括字符串end的记录）匹配。51Testing软件测试网iE@([i;_&{1{

• 括号 ( ) 将模式组合在一起。
• 布尔运算符 ||（或）&&（和）以及 !（不）将模式组合成如果它们求值为真则匹配，否则不匹配的表达式。例如，模式：51Testing软件测试网} `6gv$H.K'?:@
  n A!{7m f2U![y%b.P0

  $1 == "al" && $2 == "123"

  与第一个字段是al且第二个字段是123的记录匹配。

  OK OM$ch9V0

BEGIN 和 END 模式

用BEGIN模式指定的操作在读取任何输入之前执行。用END模式指定的操作在读取了所有输入后执行。允许多个BEGIN和END模式，并以指定的顺序处理它们。在程序语句中END模式可以在BEGIN模式之前。如果程序仅由BEGIN语句构成，则执行操作且不读取输入。如果程序仅由END语句构成，则在任何操作执行前读取所有输入。

操作

有多种类型的操作语句：51Testing软件测试网'j!J x Z(~5V|6M8W

• 操作语句
• 内置函数
• 用户定义的函数
• 条件语句
• 输出操作

操作语句

操作语句括在 { } (花括号) 中。如果语句指定为没有模式，则它们在每个记录上执行。在括号里可以指定多个操作，但操作间必须以换行字符或 ;（分号）分隔，且语句以它们出现的顺序处理。操作语句包含：51Testing软件测试网x*O sZ5A/C2s

表达式 运算符 表达式

$2 = $1^3

+Expression 或 -Expression

++Variable 或 --Variable

Variable++ 或 Variable--

Variable += Expression

Variable -= Expression

Variable /= Expression

Variable *= Expression

$1 *= $2

Variable1^=Expression1

Variable2%=Expression2

Variable1=pow(Variable1, Expression1)

Variable2=fmod(Variable2, Expression2)

$3 = $1 $2

内置函数

awk命令语言使用算术函数、字符串函数和一般函数。如果打算编写一个文件，且稍后在同一个程序里读取它，则 close 子例程语句是必需的。51Testing软件测试网#Sj)pDKMq^

算术函数

以下算术函数执行与 C 语言中名称相同的子例程相同的操作：

字符串函数

字符串函数是：51Testing软件测试网9kT2y:}szL}

一般函数

一般函数是：51Testing软件测试网(x.}M
H[6ba

51Testing软件测试网 y1D%I7eP

注：所有getline函数的格式对于成功输入返回 1，对于文件结束返回零，对于错误返回 -1。

用户定义的函数

用户定义的函数以下列格式说明：

;~x0QW;}3S\0

function Name (Parameter, Parameter,...)  { Statements }

函数可以指向awk命令程序中的任何位置，且它的使用可以优先于它的定义。此函数的作用域是全局的。51Testing软件测试网1QLm7x3k
E{ xr8}

函数参数可以是标量或数组。参数名称对函数而言是本地的；所有其它变量名称都是全局的。同一个名称不应用作不同的实体；例如，一个参数名称不能用作函数名称又用作特殊变量。具有全局作用域的变量不应共享一个函数的名称。同个作用域中的标量和数组不应具有同一个名称。

函数定义中的参数数量不必和调用函数时使用的参数数量匹配。多余的形式参数可用作本地变量。额外的标量参数初始化后具有等同于空字符串和数字值为 0（零）的字符串值；额外的数组参数初始化为空数组。

当调用函数时，函数名称和左括号之间没有空格。函数调用可以是嵌套的或循环的。从任何嵌套的或循环函数函数调用返回时，所有调用函数的参数的值应保持不变，除了引用传送的数组参数。return语句可用于返回一个值。

在函数定义内，在左 { ( 花括号 ) 之前和右 } ( 花括号 ) 之后的换行字符是可选的。51Testing软件测试网tiv9P$d(f3^

函数定义的一个示例是：51Testing软件测试网
][!Z0b+u4P

W,]*i9i8lt!\I051Testing软件测试网!F)BF5c5b+N X,rd:h

functionaverage ( g,n) 
  {
        for (i in g)
           sum=sum+g[i]
        avg=sum/n
        return avg
  }

数组g和变量n以及数组中的元素个数传递给函数 average。然后函数获得一个平均值并返回它。

条件语句

awk命令编程语言中的大部分条件语句和 C 编程语言中的条件语句具有相同的语法和功能。所有条件语句允许使用｛ } (花括号) 将语句组合在一起。可以在条件语句的表达式部分和语句部分之间使用可选的换行字符，且换行字符或 ;（分号）用于隔离 { } (花括号) 中的多个语句。C 语言中的六种条件语句是：51Testing软件测试网nV$COJ4f.PH

awk命令编程语言中的五种不遵循 C 语言规则的条件语句是：

for (i in g)
   delete g[i];

输出语句

awk命令编程语言的两种输出语句是：

注：如果Expression参数为Redirection参数指定一个路径名称，则Expression参数将括在双引号中以确保将它当作字符串对待。

变量

变量可以是标量、字段变量、数组或特殊变量。变量名称不能以数字开始。51Testing软件测试网&Tl$R1n)Q7FvK-S f

变量可仅用于引用。除了函数参数以外，它们没有明确说明。未初始化的标量变量和数组元素具有一个为 0（零）的数字值和一个为空字符串（" "）的字符串值。

根据上下文，变量呈现出数字或字符串值。每个变量可以具有数字值和／或字符串值。例如：51Testing软件测试网Lwz^lO;J]

51Testing软件测试网y6ye8CJF&@-U2k

x = "4" + "8"

将值12指定给变量x。对于字符串常量，表达式应括在 " "（双引号）标记中。

数字和字符串间没有显式转换。要促使将表达式当作一个数字，向它添加 0（零）。要促使将表达式当作一个字符串，则添加一个空字符串（" "）。51Testing软件测试网v,J[W*Z"G:I

字段变量

字段变量由$（美元符号）后跟一个数字或数字表达式来表示。记录中的第一个字段指定为$1变量，第二个字段指定为$2，以次类推。$0字段变量指定给整个记录。新字段可以通过指定一个值给它们来创建。将一个值指定给不存在的字段（即任何大于$NF字段变量的当前值的字段）将促使创建任何干扰字段（指定为空字符串），增加NF特殊变量的值，并促使重新计算$0记录变量。新字段由当前字段分隔符（FS特殊变量的值）隔开。空格和跳格是缺省字段分隔符。要更改字段分隔符，请使用-F标志或 在awk命令程序中为FS特殊变量指定另一个值。51Testing软件测试网\O%XJ)_;uz\)_

数组

数组初始为空且它们大小可动态更改。数组由一个变量和在 [ ]（方括号）中的下标来表示。下标或元素标识符可以是几个字符串，它们提供了一种相关数组能力。例如，程序：

51Testing软件测试网|#Uw&K&wN0}~

/red/  { x["red"]++ }
/green/ { y["green"]++ }

增加red计数器和green计数器的计数。

数组可以用一个以上的下标来建立索引，类似于一些编程语言中的多维数组。因为awk命令的编程数组实际上是一维的，通过串联各独立表达式的字符串值（每个表达式由SUBSEP环境变量的值隔开）来将以逗号隔开的下标转换为单个字符串。所以，以下两个索引操作是等同的：51Testing软件测试网+^(B]%EOM6\)i p

x[expr1, expr2,...exprn]

和

51Testing软件测试网"I z v$Whv%v.p V'@

x[expr1SUBSEPexpr2SUBSEP...SUBSEPexprn]

当使用in运算符时，一个多维Index值应包含在圆括号之中。除了in运算符，任何对不存在数组元素的引用将自动创建该元素。

特殊变量

以下变量对于awk命令具有特殊含义：

标志

g3GV|dY051Testing软件测试网 |8Ll`7mG ]&z'j0p

退出状态

该命令返回以下出口值：

可以通过使用exit[Expression]条件语句来更改程序中的退出状态。51Testing软件测试网OjhY8FN

示例

1. 要显示长于 72 个字符的文件的行，请输入：51Testing软件测试网bBW;|qR
   fv[qN0

   awk  'length  >72'  chapter1

   这选择chapter1文件中长于 72 个字符的每一行，并将这些行写至标准输出，因为未指定Action。制表符以 1 个字符计数。

   K m'i&C0u(C0
2. 要显示字start和stop之间的所有行，包含“start”和“stop”，请输入：

   S*K3g.QbO h051Testing软件测试网#` VP)h zjQ

   awk  '/start/,/stop/'  chapter1

3. 要运行一个处理文件chapter1的awk命令程序sum2.awk，请输入：

   1fc C;L*M*MN-`E6}0

   !ua-`x&R'C q0

   awk  -f  sum2.awk  chapter1

   以下程序sum2.awk，计算了输入文件chapter1中的第二列的数字的总和与平均值：51Testing软件测试网F_#~h-A~

   {
          sum += $2
       }
   END {
          print "Sum: ", sum;
          print "Average:", sum/NR;
       }

   第一个操作将每行的第二个字段的值添加至变量sum。当第一次被引用时，所有的变量都初始化为数字值 0（零）。第二个操作前的模式END使那些操作在读取了所有输入文件之后才执行。用于计算平均值的NR特殊变量是一个指定已经读取的记录的个数的特殊变量。

   E#ldo|`0
4. 要以相反顺序打印前两个字段，请输入：

   ,CB j0n:q"];k051Testing软件测试网FTjDA'I
   s\

   awk '{ print $2, $1 }' chapter1

5. 以下awk程序

   awk -f sum3.awk chapter2

   打印文件chapter2的前两个字段（用逗号和／或空格和制表符隔开），然后合计第一列，并打印总和与平均值：

   BEGIN  {FS = ",|[ \t]+"}
          {print $1, $2}
          {s += $1}
   END    {print "sum is",s,"average is", s/NR }