linux命令之grep

相信g r e p是U N I X和L I N U X中使用最广泛的命令之一。g r e p（全局正则表达式版本）允许对文本文件进行模式查找。如果找到匹配模式， g r e p打印包含模式的所有行。g r e p支持基本正则表达式，也支持其扩展集。g r e p有三种变形，即：
G r e p： 标准g r e p命令，本章大部分篇幅集中讨论此格式。
E g r e p： 扩展g r e p，支持基本及扩展的正则表达式，但不支持\ q模式范围的应用，与之相对应的一些更加规范的模式，这里也不予讨论。
F g r e p： 快速g r e p。允许查找字符串而不是一个模式。不要误解单词f a s t，实际上它与g r e p速度相当。

在本章中我们将讨论：
•grep（参数）选项。
•匹配g r e p的一般模式。
•只匹配字母或数字，或两者混用。
•匹配字符串范围。

实际上应该只有一个g r e p命令，但不幸的是没有一种简单形式能够统一处理g r e p的三种变形，将之合而为一，并保持g r e p单模式处理时的速度。GNU grep虽然在融合三种变形上迈进了一大步，但仍不能区分元字符的基本集和扩展集。上一章只讨论了基本的正则表达式，但在查看g r e p时也涉及到一些扩展模式的匹配操作。然而，首先还是先讨论一下在g r e p和f g r e p及e g r e p中均可使用的g r e p模式吧。

开始讨论之前，先生成一个文件，插入一段文本，并在每列后加入键，g r e p命令示例中绝大多数将以此为例，其命名为d a t a . . f。生成一个文件，但不知其含义，将是一件很枯燥的事。那么先来看看d a t a . f的记录结构。
第1列：城市位置编号。
第2列：月份。
第3列：存储代码及出库年份。
第4列：产品代号。
第5列：产品统一标价。
第6列：标识号。
第7列：合格数量。

用命令来查看文件内容如下：
hhl:localhost ~/test/shell> more data.f
48 Dec 3BC1997 LPSX 68.00 LVX2A 138
483 Sept 5AP1996 USP 65.00 LVX2C 189
47 Oct 3ZL1998 LPSX 43.00 KVM9D 512
219 dec 2CC1999 CAD 23.00 PLV2C 68
484 nov 7PL1996 CAD 49.00 PLV2C 234
483 may 5PA1998 USP 37.00 KVM9D 644
216 sept 3ZL1998 USP 86.00 KVM9E 234

grep
g r e p一般格式为：
grep [选项]基本正则表达式[文件]
这里基本正则表达式可为字符串。

双引号引用
在g r e p命令中输入字符串参数时，最好将其用双引号括起来。例如：“m y s t r i n g”。这样做有两个原因，一是以防被误解为s h e l l命令，二是可以用来查找多个单词组成的字符串，例如：“jet plane”，如果不用双引号将其括起来，那么单词p l a n e将被误认为是一个文件，查询结果将返回“文件不存在”的错误信息。
在调用变量时，也应该使用双引号，诸如： g r e p“$ M Y VA R”文件名，如果不这样，将没有返回结果。
在调用模式匹配时，应使用单引号。

grep选项
常用的g r e p选项有：
-c 只输出匹配行的计数。
-i 不区分大小写（只适用于单字符）。
-h 查询多文件时不显示文件名。
-l 查询多文件时只输出包含匹配字符的文件名。
-n 显示匹配行及行号。
-s 不显示不存在或无匹配文本的错误信息。
-v 显示不包含匹配文本的所有行。

查询多个文件
如果要在当前目录下所有. d o c文件中查找字符串“ s o r t”，方法如下：
$ grep “sort”*.doc
或在所有文件中查询单词“ sort it”
$ grep “sort it” *
现在讲述在文本文件中g r e p选项的用法。

行匹配
$ grep -c “48″data.f
$ 4
g r e p返回数字4，意义是有4行包含字符串“4 8”。
现在显示包含“4 8”字符串的4行文本：
hhl:localhost ~/test/shell> grep -c “48″ data.f
4
hhl:localhost ~/test/shell> grep “48″ data.f
48 Dec 3BC1997 LPSX 68.00 LVX2A 138
483 Sept 5AP1996 USP 65.00 LVX2C 189
484 nov 7PL1996 CAD 49.00 PLV2C 234
483 may 5PA1998 USP 37.00 KVM9D 644

行数
显示满足匹配模式的所有行行数：
行数在输出第一列，后跟包含4 8的每一匹配行。
hhl:localhost ~/test/shell> grep -n “48″ data.f
1:48 Dec 3BC1997 LPSX 68.00 LVX2A 138
2:483 Sept 5AP1996 USP 65.00 LVX2C 189
5:484 nov 7PL1996 CAD 49.00 PLV2C 234
6:483 may 5PA1998 USP 37.00 KVM9D 644

显示非匹配行
显示所有不包含4 8的各行：
hhl:localhost ~/test/shell> grep -v “48″ data.f
47 Oct 3ZL1998 LPSX 43.00 KVM9D 512
219 dec 2CC1999 CAD 23.00 PLV2C 68
216 sept 3ZL1998 USP 86.00 KVM9E 234

精确匹配
可能大家已注意到，在上一例中，抽取字符串“ 4 8”，返回结果包含诸如4 8 4和4 8 3等包含“4 8”的其他字符串，实际上应精确抽取只包含4 8的各行。注意在每个匹配模式中抽取字符串后有一个键，所以应操作如下：
hhl:localhost ~/test/shell> grep “48″ data.f 经过验证，该操作在RHEL5平台的bash下不可用

使用g r e p抽取精确匹配的一种更有效方式是在抽取字符串后加\ >。假定现在精确抽取4 8，方法如下：
hhl:localhost ~/test/shell> grep “48\>” data.f
48 Dec 3BC1997 LPSX 68.00 LVX2A 138

大小写敏感
缺省情况下， g r e p是大小写敏感的，如要查询大小写不敏感字符串，必须使用- i开关。在d a t a . f文件中有月份字符S e p t，既有大写也有小写，要取得此字符串大小写不敏感查询，方法如下：
hhl:localhost ~/test/shell> grep -i “sept” data.f
483 Sept 5AP1996 USP 65.00 LVX2C 189
216 sept 3ZL1998 USP 86.00 KVM9E 234

grep和正则表达式
使用正则表达式使模式匹配加入一些规则，因此可以在抽取信息中加入更多选择。使用正则表达式时最好用单引号括起来，这样可以防止g r e p中使用的专有模式与一些s h e l l命令的特殊方式相混淆。
模式范围
假定要抽取代码为4 8 4和4 8 3的城市位置，上一章中讲到可以使用[ ]来指定字符串范围，这里用4 8开始，以3或4结尾，这样抽出4 8 4或4 8 3。
代码如下：
hhl:localhost ~/test/shell> grep ‘48[34]‘ data.f
483 Sept 5AP1996 USP 65.00 LVX2C 189
484 nov 7PL1996 CAD 49.00 PLV2C 234
483 may 5PA1998 USP 37.00 KVM9D 644

不匹配行首
如果要抽出记录，使其行首不是4 8，可以在方括号中使用^记号，表明查询在行首开始。
代码如下：
hhl:localhost ~/test/shell> grep ‘^[^4]‘ data.f
219 dec 2CC1999 CAD 23.00 PLV2C 68
216 sept 3ZL1998 USP 86.00 KVM9E 234

设置大小写
使用- i开关可以屏蔽月份S e p t的大小写敏感，也可以用另一种方式。这里使用[ ]模式抽取各行包含S e p t和s e p t的所有信息。
代码如下：
hhl:localhost ~/test/shell> grep “[Ss]ept” data.f
483 Sept 5AP1996 USP 65.00 LVX2C 189
216 sept 3ZL1998 USP 86.00 KVM9E 234

如果要抽取包含S e p t的所有月份，不管其大小写，并且此行包含字符串4 8 3，可以使用管道命令，即符号“|”左边命令的输出作为“ |”右边命令的输入。
举例如下：
hhl:localhost ~/test/shell> grep “[Ss]ept” data.f | grep 483
483 Sept 5AP1996 USP 65.00 LVX2C 189

不必将文件名放在第二个g r e p命令中，因为其输入信息来自于第一个g r e p命令的输出。

匹配任意字符
如果抽取以K开头，以D结尾的所有代码，可使用下述方法，因为已知代码长度为5个字符：
代码如下：
hhl:localhost ~/test/shell> grep ‘K…D’ data.f
47 Oct 3ZL1998 LPSX 43.00 KVM9D 512
483 may 5PA1998 USP 37.00 KVM9D 644

将上述代码做轻微改变，头两个是大写字母，中间两个任意，并以C结尾：
hhl:localhost ~/test/shell> grep ‘[A-Z][A-Z]..C’ data.f
483 Sept 5AP1996 USP 65.00 LVX2C 189
219 dec 2CC1999 CAD 23.00 PLV2C 68
484 nov 7PL1996 CAD 49.00 PLV2C 234

日期查询
一个常用的查询模式是日期查询。先查询所有以5开始以1 9 9 6或1 9 9 8结尾的所有记录。使用模式5 . . 1 9 9 [ 6 , 8 ]。这意味着第一个字符为5，后跟两个点，接着是1 9 9，剩余两个数字是6或8。
代码如下：
hhl:localhost ~/test/shell> grep ‘5..199[68]‘ data.f
483 Sept 5AP1996 USP 65.00 LVX2C 189
483 may 5PA1998 USP 37.00 KVM9D 644

查询包含1 9 9 8的所有记录的另外一种方法是使用表达式[ 0 - 9 ] \ { 3 \ } [ 8 ]，含义是任意数字重复3次，后跟数字8，虽然这个方法不像上一个方法那么精确，但也有一定作用。
代码如下：
hhl:localhost ~/test/shell> grep ‘[0-9]\{3\}8′ data.f
47 Oct 3ZL1998 LPSX 43.00 KVM9D 512
483 may 5PA1998 USP 37.00 KVM9D 644
216 sept 3ZL1998 USP 86.00 KVM9E 234

范围组合
必须学会使用[ ]抽取信息。假定要取得城市代码，第一个字符为任意字符，第二个字符在0到5之间，第三个字符在0到6之间，使用下列模式即可实现。
代码如下：
hhl:localhost ~/test/shell> grep ‘.[0-5][0-6]‘ data.f
48 Dec 3BC1997 LPSX 68.00 LVX2A 138
483 Sept 5AP1996 USP 65.00 LVX2C 189
47 Oct 3ZL1998 LPSX 43.00 KVM9D 512
219 dec 2CC1999 CAD 23.00 PLV2C 68
484 nov 7PL1996 CAD 49.00 PLV2C 234
483 may 5PA1998 USP 37.00 KVM9D 644
216 sept 3ZL1998 USP 86.00 KVM9E 234

这里返回很多信息，有想要的，也有不想要的。参照模式，返回结果是正确的，因此这里还需要细化模式，可以以行首开始，使用^符号：
代码如下：
hhl:localhost ~/test/shell> grep ‘^[0-9][0-5][0-6]‘ data.f
216 sept 3ZL1998 USP 86.00 KVM9E 234

这样可以返回一个预期的正确结果。

模式出现机率
抽取包含数字4至少重复出现两次的所有行，方法如下：
代码如下：
hhl:localhost ~/test/shell> grep ‘4\{2,\}’ data.f
483 may 5PA1998 USP 37.00 KVM9D 644

上述语法指明数字4至少重复出现两次。

同样，抽取记录使之包含数字9 9 9（三个9），方法如下：
代码如下：
hhl:localhost ~/test/shell> grep ‘9\{3\}’ data.f
219 dec 2CC1999 CAD 23.00 PLV2C 68

如果要查询重复出现次数一定的所有行，语法如下，数字9重复出现两次：
grep ‘9\{2\}’ data.f

有时要查询重复出现次数在一定范围内，比如数字或字母重复出现2到6次，下例匹配数字8重复出现2到6次，并以3结尾：
grep ‘8\{2,6\}3′

使用grep匹配“与”或者“或”模式
g r e p命令加- E参数，这一扩展允许使用扩展模式匹配。例如，要抽取城市代码为2 1 9或2 1 6，方法如下：
代码如下：
hhl:localhost ~/test/shell> grep -E “216|219″ data.f
219 dec 2CC1999 CAD 23.00 PLV2C 68
216 sept 3ZL1998 USP 86.00 KVM9E 234

空行
结合使用^和$可查询空行。使用- n参数显示实际行号：
hhl:localhost ~/test/shell> grep -n ‘^$’ data.f
8:

匹配特殊字符
查询有特殊含义的字符，诸如$ . ‘ ” * [] ^ | \ + ? ,必须在特定字符前加\。假设要查询包含“.”的所有行，脚本如下：
grep ‘\.’ myfile
或者是一个双引号：
grep ‘\”‘ myfile
以同样的方式，如要查询文件名c o n f t r o l l . c o n f（这是一个配置文件），脚本如下：
grep ‘conftroll\.conf’ myfile

查询格式化文件名
使用正则表达式可匹配任意文件名。系统中对文本文件有其标准的命名格式。一般最多六个小写字符，后跟句点，接着是两个大写字符。例如，要在一个包含各类文件名的文件
f i l e n a m e . d e p o s i t中定位这类文件名，方法如下：
grep ‘[a-z]\{1,6\}\.[A-Z]\{1,2\}’ filename.deposit

查询IP地址
查询D N S服务是日常工作之一，这意味着要维护覆盖不同网络的大量I P地址。有时地址I P会超过2 0 0 0个。如果要查看n n n . n n n网络地址，但是却忘了第二部分中的其余部分，只知有两个句点，例如n n n . n n . .。要抽取其中所有nnn.nnn IP地址，使用[ 0 - 9 ] \ { 3 \ } \ . [ 0 - 0 \ { 3 \ } \。含义是任意数字出现3次，后跟句点，接着是任意数字出现3次，后跟句点。
代码如下：
grep '[0-9]\{3\}\.[0-9]\{3\}\.’ ipfile

类名
g r e p允许使用国际字符模式匹配或匹配模式的类名形式。
表8-1 类名及其等价的正则表达式
++++++++++++++++++++++++++++++++++++++++++++++
类 等价的正则表达式类
[ [ : u p p e r : ] ] [ A - Z ]
[ [ : a l n u m : ] ] [ 0 - 9 a - zA-Z]
[ [ : l o w e r : ] ] [ a - z ]
[ [ : s p a c e : ] ] 空格或t a b键
[ [ : d i g i t : ] ] [ 0 - 9 ]
[ [ : a l p h a : ] ] [ a - z A - Z ]
++++++++++++++++++++++++++++++++++++++++++++++

现举例说明其使用方式。要抽取产品代码，该代码以5开头，后跟至少两个大写字母。使用的脚本如下：
hhl:localhost ~/test/shell> grep ‘5[[:upper:]][[:upper:]]’ data.f
483 Sept 5AP1996 USP 65.00 LVX2C 189
483 may 5PA1998 USP 37.00 KVM9D 644

如果要抽取以P或D结尾的所有产品代码，方法如下：
hhl:localhost ~/test/shell> grep ‘[[:upper:]][[:upper:]][P,D]‘ data.f
483 Sept 5AP1996 USP 65.00 LVX2C 189
219 dec 2CC1999 CAD 23.00 PLV2C 68
484 nov 7PL1996 CAD 49.00 PLV2C 234
483 may 5PA1998 USP 37.00 KVM9D 644
216 sept 3ZL1998 USP 86.00 KVM9E 234

使用通配符*的匹配模式 注意：建议在使用通配符时用双引号括起来，以和正则表达式区别，这样可读性好一些。另，建议通配符*不要和.一起使用，只是个人建议，呵呵。
现在讲述g r e p中通配符*的使用。现有文件如下：
hhl:localhost ~/test/shell> more testfile
looks
likes
long
looker

下述g r e p模式结果显示如下：
hhl:localhost ~/test/shell> grep “l*s” testfile
looks
likes

如在行尾查询某一单词，试如下模式：
grep ‘device$’ *
这将在所有文件中查询行尾包含单词d e v i c e的所有行。

系统grep命令
使用已学过的知识可以很容易通过g r e p命令获得系统信息。下面几个例子中，将用到管道命令，即符号|，使用它左边命令的输出结果作为它右边命令的输入。

目录
如果要查询目录列表中的目录，方法如下：
ls -l | grep ‘^d’
如果在一个目录中查询不包含目录的所有文件，方法如下：
ls -l | grep ‘^[^d]‘
要查询其他用户和其他用户组成员有可执行权限的目录集合，方法如下：
ls -l | grep ‘^d…..x..x’

passwd文件

grep “hhl” /etc/passwd
上述脚本查询/ e t c / p a s s w d文件是否包含hhl字符串。
使用g r e p命令- s开关，可屏蔽错误信息。
grep -s “hhl” /etc/passwd

此命令返回命令提示符，而没有文件不存在的错误提示。

如果g r e p命令不支持- s开关，可替代使用以下命令：
grep “hhl” /etc/passwd >/dev/null 2>&1

脚本含义是匹配命令输出或错误（ 2 > $ 1），并将结果输出到系统池。大多数系统管理员称/ d e v / n u l l为比特池，没关系，可以将之看成一个无底洞，有进没有出，永远也不会填满。

使用ps命令
使用带有ps x命令的g r e p可查询系统上运行的进程。ps ax命令意为显示系统上运行的所有进程列表。要查看mysql服务器是否正在运行（进程名称为mysqld），方法如下：
hhl:localhost ~/test/shell> ps ax | grep mysqld
2358 ? S 0:00 /bin/sh /usr/bin/mysqld_safe –defaults-file=/etc/my.cnf –pid-file=/var/run/mysqld/mysqld.pid –log-error=/var/log/mysqld.log
2394 ? Sl 0:01 /usr/libexec/mysqld –defaults-file=/etc/my.cnf –basedir=/usr –datadir=/var/lib/mysql –user=mysql –pid-file=/var/run/mysqld/mysqld.pid –skip-locking –socket=/var/lib/mysql/mysql.sock
8273 pts/0 R+ 0:00 grep mysqld

输出也应包含此g r e p命令，因为g r e p命令创建了相应进程， ps ax将找到它。在g r e p命令中使用- v选项可丢弃p s命令中的g r e p进程。
hhl:localhost ~/test/shell> ps ax | grep mysqld | grep -v “grep”
2358 ? S 0:00 /bin/sh /usr/bin/mysqld_safe –defaults-file=/etc/my.cnf –pid-file=/var/run/mysqld/mysqld.pid –log-error=/var/log/mysqld.log
2394 ? Sl 0:01 /usr/libexec/mysqld –defaults-file=/etc/my.cnf –basedir=/usr –datadir=/var/lib/mysql –user=mysql –pid-file=/var/run/mysqld/mysqld.pid –skip-locking –socket=/var/lib/mysql/mysql.sock

如果ps x不适用于用户系统，替代使用ps -ef。

对一个字符串使用grep
g r e p不只应用于文件，也可应用于字符串。为此使用e c h o字符串命令，然后对g r e p命令使用管道输入。
hhl:localhost ~/test/shell> Str=”this is a string for test”
hhl:localhost ~/test/shell> echo $Str | grep “this”
this is a string for test
匹配成功实现。
hhl:localhost ~/test/shell> echo $Str | grep “thia”
hhl:localhost ~/test/shell>

因为没有匹配字符串，所以没有输出结果。

egrep
e g r e p代表e x p r e s s i o n或extended grep，适情况而定。e g r e p接受所有的正则表达式， e g r e p的一个显著特性是可以以一个文件作为保存的字符串，然后将之传给e g r e p作为参数，为此使用- f开关。如果创建一个名为g r e p s t r i n g s的文件，并输入4 8 4和4 7：
hhl:localhost ~/test/shell> more egrep.e
483
21
hhl:localhost ~/test/shell> egrep -f egrep.e data.f
483 Sept 5AP1996 USP 65.00 LVX2C 189
219 dec 2CC1999 CAD 23.00 PLV2C 68
483 may 5PA1998 USP 37.00 KVM9D 644
216 sept 3ZL1998 USP 86.00 KVM9E 234

上述脚本匹配d a t a . f中包含4 8 4或4 7的所有记录。当匹配大量模式时， – f开关很有用，而在一个命令行中敲入这些模式显然极为繁琐。
如果要查询存储代码3 2 L或2 C C，可以使用（|）符号，意即“|”符号两边之一或全部。

hhl:localhost ~/test/shell> egrep ‘(3ZL|2CC)’ data.f
47 Oct 3ZL1998 LPSX 43.00 KVM9D 512
219 dec 2CC1999 CAD 23.00 PLV2C 68
216 sept 3ZL1998 USP 86.00 KVM9E 234

可以使用任意多竖线符“ |”，例如要查看在系统中是否有帐号l o u i s e、m a t t y或pauline ，使用w h o命令并管道输出至e g r e p。
hhl:localhost ~/test/shell> who | egrep ‘(hhl|oracle|root)’
hhl pts/0 2009-04-01 19:27 (10.10.10.1)
hhl pts/1 2009-04-01 19:34 (10.10.10.1)

还可以使用^符号排除字符串。如果要查看系统上的用户，但不包括m a t t y和p a u l i n e，方法如下：
hhl:localhost ~/test/shell> who | egrep -v ‘^(oracle|root)’
hhl pts/0 2009-04-01 19:27 (10.10.10.1)
hhl pts/1 2009-04-01 19:34 (10.10.10.1)

如果要查询一个文件列表，包括s h u t d o w n、s h u t d o w n s、r e b o o t和r e b o o t s，使用e g r e p可容易地实现。

egrep ‘(shutdown|reboot)(s)?’ *

最后这个egrep 我以前没好好看过，现在看来还不错。在说明文当中看到这么一句：`egrep’ means `grep -E’. 明白了吧。

希望大家已经理解了g r e p的灵活性，它是一个很强大而流行的工具，像其他许多U N I X工具一样，已经被使用在D O S中。如果要通过文件快速查找字符串或模式， g r e p是一个很好的选择。简单地说， g r e p是s h e l l编程中很重要的工具，在本书后面部分使用其他U N I X工具和进行变量替换时将发现这一点。

文章转自：http://qa.taobao.com/?cat=74