AWK 日常使用总结

1.awk中调用系统变量必须用单引号，如果是双引号，则表示字符串
Flag=abcd
awk '{print '$Flag'}'   结果为abcd
awk '{print  "$Flag"}'   结果为$Flag

 

2.BEGIN和END使用：

awk 'BEGIN {print "abin  haha\n============================="}{print $1}END{print "end-if-file"}' cal.txt

3.awk -F '' 可以使用 NULL 为分隔符。

awk -F''  不能使用 NULL 为分隔符。起引号内必须赋值.  

4.每一行开头加"/usr/local"  cat renewlist.txt | awk '{ print "/usr/local"$0}'

 

5.关联数组关联多个字段：
awk 'NR==FNR{a[$3]=$1" "$2}NR>FNR&&b=$6{print $0,a[b]}' b a

 

6.将比较 file1的1-4字符 和 file2的2-5 字符，如果相同，将file2 的第二列 与 file1 合并
awk  'NR==FNR{a[substr($1,2,5)]=$2}NR>FNR&&a[b=substr($1,1,4)]{print $0, a[b]}' a b

 

7.awk调用shell外部函数：
export -f getmacinfo
                awk -v vi="$vi" -v vs="$hostid_ip $vmstate" 'BEGIN{while("getmacinfo '"$vd"'"|getline d){print vi,d,vs}}'

 

8.列求和。
ll -th|awk 'BEGIN{total=0}{total+=$2}END{print total}'

 

9.awk进行数值计算：
echo ""|awk '{print 3+4}'    或者 awk 'BEGIN{print 3+4}'

 

10.打印某字符串对应列：
1)  awk '{for(i=1;i<=NF;i++){if($i=="Country")print i}}' data.txt|xargs -i awk 'NR>1{print ${}}' data.txt



2)  awk '/Country/{for(i=1;i<=NF;i++)if($i~/Country/)a=i}(a){print $a}' data.txt

 

3)打印包含ddga的列

awk 'NR==FNR{for(i=1;i<=NF;i++){if($i=="ddga")a=i}}NR>FNR&&FNR>1{print $a}' aa aa

11.删除第一个字段重复的且第二个字段为0的行：
awk 'NR==FNR{a[$1]++;next}$2!=0||a[$1]==1' test.info test.info
PBCSPOFT0101    96                           
PBCSPOFT0102    6
PBCSPOFT0103    8
PBCSPOFT0104    0
PBCSPOFT0105    0
PBCSPOFT0106    0
PBCSPOFT0107    10
PBCSPOFT0108    0

 

12.a[$1]在未声明之前为假。

 

13、第二次读取同一个文件的时候，a[$1]并不累加，而是直接饮用第一次读取文件的那个值。
awk 'NR==FNR{print NR,$0,a[$1],a[$1]++,a[$1]}NR>FNR{print NR,$0,a[$1]}' test.info test.info
1 PBCSPOFT0101    0                              0 1
2 PBCSPOFT0101    96                             1 1 2
3 PBCSPOFT0102    0  0 1
4 PBCSPOFT0102    6 1 1 2
5 PBCSPOFT0103    0  0 1
6 PBCSPOFT0103    8 1 1 2
7 PBCSPOFT0104    0  0 1
8 PBCSPOFT0105    0  0 1
9 PBCSPOFT0106    0  0 1
10 PBCSPOFT0107    0  0 1
11 PBCSPOFT0107    10 1 1 2
12 PBCSPOFT0108    0  0 1
13 PBCSPOFT0101    0                             2
14 PBCSPOFT0101    96                             2
15 PBCSPOFT0102    0 2
16 PBCSPOFT0102    6 2
17 PBCSPOFT0103    0 2
18 PBCSPOFT0103    8 2
19 PBCSPOFT0104    0 1
20 PBCSPOFT0105    0 1
21 PBCSPOFT0106    0 1
22 PBCSPOFT0107    0 2
23 PBCSPOFT0107    10 2
24 PBCSPOFT0108    0 1

 

 

14.awk可使用shell的重定向符进行重定向输出，如：$ awk '$1 = 100 {print $1 > "output_file" }' test。上式表示如果第一个域的值等于100，则把它输出到output_file中。也可以用>>来重定向输出，但不清空文件，只做追加操作。

15.输出重定向需用到getline函数。getline从标准输入、管道或者当前正在处理的文件之外的其他输入文件获得输入。它负责从输入获得下一行的内容，并给NF,NR和FNR等内建变量赋值。如果得到一条记录，getline函数返回1，如果到达文件的末尾就返回0，如果出现错误，例如打开文件失败，就返回-1。如：

16.$ awk 'BEGIN{ "date" | getline d; print d}' test。执行linux的date命令，并通过管道输出给getline，然后再把输出赋值给自定义变量d，并打印它。

17.$ awk 'BEGIN{"date" | getline d; split(d,mon); print mon[2]}' test。执行shell的date命令，并通过管道输出给getline，然后getline从管道中读取并将输入赋值给d，split函数把变量d转化成数组mon，然后打印数组mon的第二个元素。

18. $ awk 'BEGIN{while( "ls" | getline) print}'，命令ls的输出传递给geline作为输入，循环使getline从ls的输出中读取一行，并把它打印到屏幕。这里没有输入文件，因为BEGIN块在打开输入文件前执行，所以可以忽略输入文件。

19. $ awk 'BEGIN{printf "What is your name?"; getline name < "/dev/tty" } $1 ~name {print "Found" name on line ", NR "."} END{print "See you," name "."} test。在屏幕上打印”What is your name?",并等待用户应答。当一行输入完毕后，getline函数从终端接收该行输入，并把它储存在自定义变量name中。如果第一个域匹配变量name的值，print函数就被执行，END块打印See you和name的值。

20. $ awk 'BEGIN{while (getline < "/etc/passwd" > 0) lc++; print lc}'。awk将逐行读取文件/etc/passwd的内容，在到达文件末尾前，计数器lc一直增加，当到末尾时，打印lc的值。注意，如果文件不存在，getline返回-1，如果到达文件的末尾就返回0，如果读到一行，就返回1，所以命令 while (getline < "/etc/passwd")在文件不存在的情况下将陷入无限循环，因为返回-1表示逻辑真。

21. 可以在awk中打开一个管道，且同一时刻只能有一个管道存在。通过close()可关闭管道。如：$ awk '{print $1, $2 | "sort" }' test END {close("sort")}。awd把print语句的输出通过管道作为linux命令sort的输入,END块执行关闭管道操作。

22. system函数可以在awk中执行linux的命令。如：$ awk 'BEGIN{system("clear")'。

23. fflush函数用以刷新输出缓冲区，如果没有参数，就刷新标准输出的缓冲区，如果以空字符串为参数，如fflush(""),则刷新所有文件和管道的输出缓冲区。

24、awk 拆分文件，使用重定向即可：

awk 'NR!=1{print > $6}' netstat.txt

25、模式取反：

awk '!/WAIT/' netstat.txt