您的位置:首页 > 运维架构 > Shell

shell中的正则表达式、sed、awk

2010-04-02 16:44 525 查看
本文主要说一些正则的基本语法,并且结合linux的各种小工具(egrep、sed、awk)列举一些使用实例。

一、基本语法

正则的基本语法就大概是下面这些,但是正则远不止这些,甚至可以写一本书,当然了,我们这里只列举一些简单的

用法,这些已经可以解决大部分实际问题了。

1、字符类

字符含义举例
.


匹配任意一个字符

abc.



以匹配
abcd


abc9


[]


匹配括号中的任意一个字符

[abc]d


可以匹配
ad


bd


cd


-


用在[]中,表示字符范围

[0-9a-fA-F]


可以匹配一位十六进制数字
^


如果位于[]的开头,则匹配除去括号中字符之外的一切字符

[^xy]


匹配除
xy


之外的任一字符,因此
[^xy]1


可以
匹配
a1


b1


但不匹配
x1


y1


[[:xxx:]]


grep



具预定义的一些命名字符类
[[:alpha:]]


匹配一个字母,
[[:digit:]]


匹配一个数字
2、数量限定符

字符含义举例
?


紧跟在它前面的单元匹配零次或一次

[0-9]?/.[0-9]


匹配
0.0


2.3


.5


等,由于
.


在正则表达式中是一个特殊字符,所以需要用
/



义一下,取字面值
+


紧跟在它前面的单元匹配一次或多次

[a-zA-Z0-9.-_]+@[a-zA-Z0-9.-_]+/.[a-zA-Z0-9.-_]匹配email


*


紧跟在它前面的单元匹配零次或多次

[0-9][0-9]*


匹配至少一位数字,等价于
[0-9]+


[a-zA-Z_]+[a-zA-Z_0-9]*



配C语言的标识符
{N}


紧跟在它前
面的单元应精确匹配
N次


[1-9][0-9]{2}



配从
100


999


的整数
{N,}


紧跟在它前面的单元至少要匹配n次

[1-9][0-9]{2,}


匹配三位以上(含三位)的整数
{,M}


紧跟在它前面的单元至多匹配m次

[0-9]{,1}和[0-9]?意义一样,


{N,M}


紧跟在它前面的单元至少匹配n次,至多匹配m次

[0-9]{1,3}/.[0-9]{1,3}/.[0-9]{1,3}/.[0-9]{1,3}/.用于匹配ip地址


3、位置限定符

字符含义举例
^


匹配行首的位置
^content匹配以content开头的行


$


匹配行末的位置
:$匹配以:结尾的行,^$匹配空行


/<


匹配单词开头的位
/<th


匹配
...
this


,但不匹配
ethernet


tenth


/>



配单词结尾的位置
p/>


匹配
leap ...


,但不匹配
parent


sleepy


/b



配单词开头或结尾的位置
ap/b匹配leap,/ble匹配leap,/bat/b


匹配
... at ...


,但不匹配
cat


atexit


batch


/B


匹配非单词开头和结尾的位置
/Bat/B


匹配
battery


,但不匹配
... attend


hat ...


4、其他特殊字符

字符含义举例
/


转义字符,普通字符转义为特殊字符,特殊字符转义为普通字符
通字符
<


写成
/<



示单词开头的位置,特殊字符
.


写成
/.



/


写成
//


就当作普通字符来
匹配
()


将正则表达式的一部分括起
来组成一个单元,可以对整个单元使用数量限定符
([0-9]{1,3}/.){3}[0-9]{1,3}



配IP地址
|


连接两个表达式,表示或的关系

n[o-either]可以匹配no或neither


二、小工具

1、grep/egrep

grep


是一种查找过滤工具,正则表达式在
grep



用来查找符合模式的字符串。

egrep相当于grep -E,表示采用Extended正则表达式语法。grep的正则表达式有Basic和 Extended两种规范

上述列举的正则表达式语法都适用于egrep。而grep的语法则相对简陋一些,?+(){}|都只是一些匹配字符了。

2、sed

sed意为流编辑器(Stream Editor),在Shell脚本和Makefile中作为过滤器使用非常普遍,也就是把前一个程序的输出引入sed的输入,经过一系列编辑命令转换为另一种格式输出。sed和vi都源于早期UNIX的ed工具,所以很多sed命令和vi的末行命令是相同的。

在正常情况下,sed将待处理的行读入模式空间,脚本中的命令就一条接着一条的对该行进行处理,直到脚本执行完毕,然后该行被输出,模式空间清空;然后重复刚才的动作,文件中的新的一行被读入,直到文件处理完备。

看了很多写sed的就属鸟哥写的最好了,摘录一下:

[root@linux ~]# sed [-nefr] [动作]
参数∶
-n  ∶使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN
的资料一般都会被列出到萤幕上。但如果加上 -n 参数后,则只有经过
sed 特殊处理的那一行(或者动作)才会被列出来。
-e  ∶直接在指令列模式上进行 sed 的动作编辑;
-f  ∶直接将 sed 的动作写在一个档案内, -f filename 则可以执行 filename 内的
sed 动作;
-r  ∶sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
-i  ∶直接修改读取的档案内容,而不是由萤幕输出。

动作说明∶  [n1[,n2]]function
n1, n2 ∶不见得会存在,一般代表『选择进行动作的行数』,举例来说,如果我的动作
是需要在 10 到 20 行之间进行的,则『 10,20[动作行为] 』

function 有底下这些咚咚∶
a   ∶新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~
c   ∶取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行!
d   ∶删除,因为是删除啊,所以 d 后面通常不接任何咚咚;
i   ∶插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);
p   ∶列印,亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作~
s   ∶取代,可以直接进行取代的工作哩!通常这个 s 的动作可以搭配
正规表示法!例如 1,20s/old/new/g 就是啦!
范例∶

范例一∶将 /etc/passwd 的内容列出,并且我需要列印行号,同时,请将第 2~5 行删除!
[root@linux ~]# nl /etc/passwd | sed '2,5d'
1  root:x:0:0:root:/root:/bin/bash
6  sync:x:5:0:sync:/sbin:/bin/sync
7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
.....(后面省略).....
# 看到了吧?因为 2-5 行给他删除了,所以显示的资料中,就没有 2-5 行棉~
# 另外,注意一下,原本应该是要下达 sed -e 才对,没有 -e 也行啦!
# 同时也要注意的是, sed 后面接的动作,请务必以 '' 两个单引号括住喔!
# 而,如果只要删除第 2 行,可以使用 nl /etc/passwd | sed '2d' 来达成,
# 至于第 3 到最后一行,则是 nl /etc/passwd | sed '3,$d' 的啦!

范例二∶承上题,在第二行后(亦即是加在第三行)加上『drink tea?』字样!
[root@linux ~]# nl /etc/passwd | sed '2a drink tea'
1  root:x:0:0:root:/root:/bin/bash
2  bin:x:1:1:bin:/bin:/sbin/nologin
drink tea
3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
# 嘿嘿!在 a 后面加上的字串就已将出现在第二行后面棉!那如果是要在第二行前呢?
# nl /etc/passwd | sed '2i drink tea' 就对啦!

范例三∶在第二行后面加入两行字,例如『Drink tea or .....』『drink beer?』
[root@linux ~]# nl /etc/passwd | sed '2a Drink tea or ....../
> drink beer ?'
1  root:x:0:0:root:/root:/bin/bash
2  bin:x:1:1:bin:/bin:/sbin/nologin
Drink tea or ......
drink beer ?
3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
# 这个范例的重点是,我们可以新增不只一行喔!可以新增好几行~
# 但是每一行之间都必须要以反斜线 / 来进行新行的增加喔!所以,上面的例子中,
# 我们可以发现在第一行的最后面就有 / 存在啦!那是一定要的喔!

范例四∶我想将第2-5行的内容取代成为『No 2-5 number』呢?
[root@linux ~]# nl /etc/passwd | sed '2,5c No 2-5 number'
1  root:x:0:0:root:/root:/bin/bash
No 2-5 number
6  sync:x:5:0:sync:/sbin:/bin/sync
# 没有了 2-5 行,嘿嘿嘿嘿!我们要的资料就出现啦!

范例五∶仅列出第 5-7 行
[root@linux ~]# nl /etc/passwd | sed -n '5,7p'
5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6  sync:x:5:0:sync:/sbin:/bin/sync
7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
# 为什么要加 -n 的参数呢?您可以自行下达 sed '5,7p' 就知道了!(5-7行会重复输出)
# 有没有加上 -n 的参数时,输出的资料可是差很多的喔!

范例六∶我们可以使用 ifconfig 来列出 IP ,若仅要 eth0 的 IP 时?
[root@linux ~]# ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 00:51:FD:52:9A:CA
inet addr:192.168.1.12  Bcast:192.168.1.255  Mask:255.255.255.0
inet6 addr: fe80::250:fcff:fe22:9acb/64 Scope:Link
UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
.....(以下省略).....
# 其实,我们要的只是那个 inet addr:..那一行而已,所以棉,利用 grep 与 sed 来捉
[root@linux ~]# ifconfig eth0 | grep 'inet ' | sed 's/^.*addr://g' | /
> sed 's/Bcast.*$//g'
# 您可以将每个管线 (|) 的过程都分开来执行,就会晓得原因棉!
# 去头去尾之后,就会得到我们所需要的 IP 亦即是 192.168.1.12 棉~

范例七∶将 /etc/man.config 档案的内容中,有 MAN 的设定就取出来,但不要说明内容。
[root@linux ~]# cat /etc/man.config | grep 'MAN'| sed 's/#.*$//g' | /
> sed '/^$/d'
# 每一行当中,若有 # 表示该行为注解,但是要注意的是,有时候,
# 注解并不是写在第一个字元,亦即是写在某个指令后方,如底下的模样∶
# 『shutdown -h now # 这个是关机的指令』,注解 # 就在指令的后方了。
# 因此,我们才会使用到将 #.*$ 这个正规表示法!

范例八∶利用 sed 直接在 ~/.bashrc 最后一行加入『# This is a test』
[root@linux ~]# sed -i '$a # This is a test'  ~/.bashrc
# 上头的 -i 参数可以让你的 sed 直接去修改后面接的档案内容喔!而不是由萤幕输出。
# 至于那个 $a  则代表最后一行才新增的意思。


不过鸟哥的不是很全,特补充如下:

[/code]

n和p一起使用:$ sed -n 's/^test/mytest/p'

example

(-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说,如果某一行开头的test被替换成mytest,就打印

它。


引用:$ sed 's/^192.168.0.1/&localhost/'
example-----&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加
localhost,变成192.168.0.1localhost。

引用:$ sed -n 's//(love/)able//1rs/p'
example-----love被标记为1,所有loveable会被替换成lovers,而且替换的行会被打印出来。

分隔符:$ sed 's#10#100#g'
example-----不论什么字符,紧跟着s命令的都被认为是新的分隔符,所以,“#”在这里是分隔符,代替了默认的“/”分隔符。表示把所有10替
换成100。

用正则表示范围:$ sed -n '/test/,/check/p' example-----所有在模板test和check所确定的范围内的行都被打印。

正则和数字混用表示范围:$ sed -n '5,/^test/p' example-----打印从第五行开始到第一个包含以test开始的行之间的所有行。

$ sed '/test/,/check/s/$/sed test/'
example-----对于模板test和west之间的行,每行的末尾用字符串sed test替换。

一次执行多条命令:$ sed -e '1,5d' -e 's/test/check/'
example-----(-e)选项允许在同一行里执行多条命令。如例子所示,第一条命令删除1至5行,第二条命令用check替换test。命令的执
行顺序对结果有影响。如果两个命令都是替换命令,那么第一个替换命令将影响第二个替换命令的结果。

并不常用的一种用法:$ sed '/test/{ n; s/aa/bb/; }'
example-----如果test被匹配,则移动到匹配行的下一行,替换这一行的aa,变为bb,并打印该行,然后继续。

h命令和G命令:
$ sed -e '/test/h' -e '$G‘
example-----在sed处理文件的时候,每一行都被保存在一个叫模式空间的临时缓冲区中,除非行被删除或者输出被取消,否则所有被处理的行都将
打印在屏幕上。接着模式空间被清空,并存入新的一行等待处理。在这个例子里,匹配test的行被找到后,将存入模式空间,h命令将其复制并存入一个称为保
持缓存区的特殊缓冲区内。第二条语句的意思是,当到达最后一行后,G命令取出保持缓冲区的行,然后把它放回模式空间中,且追加到现在已经存在于模式空间中
的行的末尾。在这个例子中就是追加到最后一行。简单来说,任何包含test的行都被复制并追加到该文件的末尾。

特殊字符"^"和"$"匹配的是模式空间的最开始与最末尾

n:

将模式空间中的内容输出,然后把下一行读入模式空间

sed '/test/{a;b;c}' 这个用法可以针对匹配test的行执行a、b、c这三天命令。

补充几个除d、a、i、s、c、p之外不常用的命令:


h:拷贝模板块的内容到内存中的缓冲区。

H:追加模板块的内容到内存中的缓冲区

g:获得内存缓冲区的内容,并替代当前模板块中的文本。

G:获得内存缓冲区的内容,并追加到当前模板块文本的后面。sed G可以在每一行后面添加一个空白行,这是因为当前内存缓冲区为空,每次都把缓冲区的空内容添加到了每一行后面。

sed '/^$/d;G':用分号分隔多条命令,每一条命令都会作用在当前行上。

更多用法可以参考:
http://sed.sourceforge.net/sed1line_zh-CN.html http://blog.chinaunix.net/u2/89923/showart_2206200.html http://www.tsnc.edu.cn/default/tsnc_wgrj/doc/sed.htm
3、awk

待续。。。。。。。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: