shell中的正则表达式、sed、awk
2010-04-02 16:44
525 查看
本文主要说一些正则的基本语法,并且结合linux的各种小工具(egrep、sed、awk)列举一些使用实例。
一、基本语法
正则的基本语法就大概是下面这些,但是正则远不止这些,甚至可以写一本书,当然了,我们这里只列举一些简单的
用法,这些已经可以解决大部分实际问题了。
1、字符类
2、数量限定符
3、位置限定符
4、其他特殊字符
二、小工具
1、grep/egrep
是一种查找过滤工具,正则表达式在
中
用来查找符合模式的字符串。
egrep相当于grep -E,表示采用Extended正则表达式语法。grep的正则表达式有Basic和 Extended两种规范
上述列举的正则表达式语法都适用于egrep。而grep的语法则相对简陋一些,?+(){}|都只是一些匹配字符了。
2、sed
sed意为流编辑器(Stream Editor),在Shell脚本和Makefile中作为过滤器使用非常普遍,也就是把前一个程序的输出引入sed的输入,经过一系列编辑命令转换为另一种格式输出。sed和vi都源于早期UNIX的ed工具,所以很多sed命令和vi的末行命令是相同的。
在正常情况下,sed将待处理的行读入模式空间,脚本中的命令就一条接着一条的对该行进行处理,直到脚本执行完毕,然后该行被输出,模式空间清空;然后重复刚才的动作,文件中的新的一行被读入,直到文件处理完备。
看了很多写sed的就属鸟哥写的最好了,摘录一下:
不过鸟哥的不是很全,特补充如下:
[/code]
引用:$ sed 's/^192.168.0.1/&localhost/'
example-----&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加
localhost,变成192.168.0.1localhost。
引用:$ sed -n 's//(love/)able//1rs/p'
example-----love被标记为1,所有loveable会被替换成lovers,而且替换的行会被打印出来。
分隔符:$ sed 's#10#100#g'
example-----不论什么字符,紧跟着s命令的都被认为是新的分隔符,所以,“#”在这里是分隔符,代替了默认的“/”分隔符。表示把所有10替
换成100。
用正则表示范围:$ sed -n '/test/,/check/p' example-----所有在模板test和check所确定的范围内的行都被打印。
正则和数字混用表示范围:$ sed -n '5,/^test/p' example-----打印从第五行开始到第一个包含以test开始的行之间的所有行。
$ sed '/test/,/check/s/$/sed test/'
example-----对于模板test和west之间的行,每行的末尾用字符串sed test替换。
一次执行多条命令:$ sed -e '1,5d' -e 's/test/check/'
example-----(-e)选项允许在同一行里执行多条命令。如例子所示,第一条命令删除1至5行,第二条命令用check替换test。命令的执
行顺序对结果有影响。如果两个命令都是替换命令,那么第一个替换命令将影响第二个替换命令的结果。
并不常用的一种用法:$ sed '/test/{ n; s/aa/bb/; }'
example-----如果test被匹配,则移动到匹配行的下一行,替换这一行的aa,变为bb,并打印该行,然后继续。
h命令和G命令:
$ sed -e '/test/h' -e '$G‘
example-----在sed处理文件的时候,每一行都被保存在一个叫模式空间的临时缓冲区中,除非行被删除或者输出被取消,否则所有被处理的行都将
打印在屏幕上。接着模式空间被清空,并存入新的一行等待处理。在这个例子里,匹配test的行被找到后,将存入模式空间,h命令将其复制并存入一个称为保
持缓存区的特殊缓冲区内。第二条语句的意思是,当到达最后一行后,G命令取出保持缓冲区的行,然后把它放回模式空间中,且追加到现在已经存在于模式空间中
的行的末尾。在这个例子中就是追加到最后一行。简单来说,任何包含test的行都被复制并追加到该文件的末尾。
特殊字符"^"和"$"匹配的是模式空间的最开始与最末尾
n:
将模式空间中的内容输出,然后把下一行读入模式空间
sed '/test/{a;b;c}' 这个用法可以针对匹配test的行执行a、b、c这三天命令。
h:拷贝模板块的内容到内存中的缓冲区。
H:追加模板块的内容到内存中的缓冲区
g:获得内存缓冲区的内容,并替代当前模板块中的文本。
G:获得内存缓冲区的内容,并追加到当前模板块文本的后面。sed G可以在每一行后面添加一个空白行,这是因为当前内存缓冲区为空,每次都把缓冲区的空内容添加到了每一行后面。
sed '/^$/d;G':用分号分隔多条命令,每一条命令都会作用在当前行上。
更多用法可以参考:
http://sed.sourceforge.net/sed1line_zh-CN.html http://blog.chinaunix.net/u2/89923/showart_2206200.html http://www.tsnc.edu.cn/default/tsnc_wgrj/doc/sed.htm
3、awk
待续。。。。。。。
一、基本语法
正则的基本语法就大概是下面这些,但是正则远不止这些,甚至可以写一本书,当然了,我们这里只列举一些简单的
用法,这些已经可以解决大部分实际问题了。
1、字符类
字符 | 含义 | 举例 |
---|---|---|
. | 匹配任意一个字符 | abc. 可 以匹配 abcd 、 abc9 等 |
[] | 匹配括号中的任意一个字符 | [abc]d 可以匹配 ad 、 bd 或 cd |
- | 用在[]中,表示字符范围 | [0-9a-fA-F] 可以匹配一位十六进制数字 |
^ | 如果位于[]的开头,则匹配除去括号中字符之外的一切字符 | [^xy] 匹配除 xy 之外的任一字符,因此 [^xy]1 可以 匹配 a1 、 b1 但不匹配 x1 、 y1 |
[[:xxx:]] | grep 工 具预定义的一些命名字符类 | [[:alpha:]] 匹配一个字母, [[:digit:]] 匹配一个数字 |
字符 | 含义 | 举例 |
---|---|---|
? | 紧跟在它前面的单元匹配零次或一次 | [0-9]?/.[0-9] 匹配 0.0 、 2.3 、 .5 等,由于 . 在正则表达式中是一个特殊字符,所以需要用 / 转 义一下,取字面值 |
+ | 紧跟在它前面的单元匹配一次或多次 | [a-zA-Z0-9.-_]+@[a-zA-Z0-9.-_]+/.[a-zA-Z0-9.-_]匹配email |
* | 紧跟在它前面的单元匹配零次或多次 | [0-9][0-9]* 匹配至少一位数字,等价于 [0-9]+ , [a-zA-Z_]+[a-zA-Z_0-9]* 匹 配C语言的标识符 |
{N} | 紧跟在它前 面的单元应精确匹配 N次 | [1-9][0-9]{2} 匹 配从 100 到 999 的整数 |
{N,} | 紧跟在它前面的单元至少要匹配n次 | [1-9][0-9]{2,} 匹配三位以上(含三位)的整数 |
{,M} | 紧跟在它前面的单元至多匹配m次 | [0-9]{,1}和[0-9]?意义一样, |
{N,M} | 紧跟在它前面的单元至少匹配n次,至多匹配m次 | [0-9]{1,3}/.[0-9]{1,3}/.[0-9]{1,3}/.[0-9]{1,3}/.用于匹配ip地址 |
字符 | 含义 | 举例 |
---|---|---|
^ | 匹配行首的位置 | ^content匹配以content开头的行 |
$ | 匹配行末的位置 | :$匹配以:结尾的行,^$匹配空行 |
/< | 匹配单词开头的位 置 | /<th 匹配 ... this ,但不匹配 ethernet 、 tenth |
/> | 匹 配单词结尾的位置 | p/> 匹配 leap ... ,但不匹配 parent 、 sleepy |
/b | 匹 配单词开头或结尾的位置 | ap/b匹配leap,/ble匹配leap,/bat/b 匹配 ... at ... ,但不匹配 cat 、 atexit 、 batch |
/B | 匹配非单词开头和结尾的位置 | /Bat/B 匹配 battery ,但不匹配 ... attend 、 hat ... |
字符 | 含义 | 举例 |
---|---|---|
/ | 转义字符,普通字符转义为特殊字符,特殊字符转义为普通字符 | 普 通字符 < 写成 /< 表 示单词开头的位置,特殊字符 . 写成 /. 以 及 / 写成 // 就当作普通字符来 匹配 |
() | 将正则表达式的一部分括起 来组成一个单元,可以对整个单元使用数量限定符 | ([0-9]{1,3}/.){3}[0-9]{1,3} 匹 配IP地址 |
| | 连接两个表达式,表示或的关系 | n[o-either]可以匹配no或neither |
1、grep/egrep
grep
是一种查找过滤工具,正则表达式在
grep
中
用来查找符合模式的字符串。
egrep相当于grep -E,表示采用Extended正则表达式语法。grep的正则表达式有Basic和 Extended两种规范
上述列举的正则表达式语法都适用于egrep。而grep的语法则相对简陋一些,?+(){}|都只是一些匹配字符了。
2、sed
sed意为流编辑器(Stream Editor),在Shell脚本和Makefile中作为过滤器使用非常普遍,也就是把前一个程序的输出引入sed的输入,经过一系列编辑命令转换为另一种格式输出。sed和vi都源于早期UNIX的ed工具,所以很多sed命令和vi的末行命令是相同的。
在正常情况下,sed将待处理的行读入模式空间,脚本中的命令就一条接着一条的对该行进行处理,直到脚本执行完毕,然后该行被输出,模式空间清空;然后重复刚才的动作,文件中的新的一行被读入,直到文件处理完备。
看了很多写sed的就属鸟哥写的最好了,摘录一下:
[root@linux ~]# sed [-nefr] [动作] 参数∶ -n ∶使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN 的资料一般都会被列出到萤幕上。但如果加上 -n 参数后,则只有经过 sed 特殊处理的那一行(或者动作)才会被列出来。 -e ∶直接在指令列模式上进行 sed 的动作编辑; -f ∶直接将 sed 的动作写在一个档案内, -f filename 则可以执行 filename 内的 sed 动作; -r ∶sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法) -i ∶直接修改读取的档案内容,而不是由萤幕输出。 动作说明∶ [n1[,n2]]function n1, n2 ∶不见得会存在,一般代表『选择进行动作的行数』,举例来说,如果我的动作 是需要在 10 到 20 行之间进行的,则『 10,20[动作行为] 』 function 有底下这些咚咚∶ a ∶新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~ c ∶取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行! d ∶删除,因为是删除啊,所以 d 后面通常不接任何咚咚; i ∶插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行); p ∶列印,亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作~ s ∶取代,可以直接进行取代的工作哩!通常这个 s 的动作可以搭配 正规表示法!例如 1,20s/old/new/g 就是啦! 范例∶ 范例一∶将 /etc/passwd 的内容列出,并且我需要列印行号,同时,请将第 2~5 行删除! [root@linux ~]# nl /etc/passwd | sed '2,5d' 1 root:x:0:0:root:/root:/bin/bash 6 sync:x:5:0:sync:/sbin:/bin/sync 7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown .....(后面省略)..... # 看到了吧?因为 2-5 行给他删除了,所以显示的资料中,就没有 2-5 行棉~ # 另外,注意一下,原本应该是要下达 sed -e 才对,没有 -e 也行啦! # 同时也要注意的是, sed 后面接的动作,请务必以 '' 两个单引号括住喔! # 而,如果只要删除第 2 行,可以使用 nl /etc/passwd | sed '2d' 来达成, # 至于第 3 到最后一行,则是 nl /etc/passwd | sed '3,$d' 的啦! 范例二∶承上题,在第二行后(亦即是加在第三行)加上『drink tea?』字样! [root@linux ~]# nl /etc/passwd | sed '2a drink tea' 1 root:x:0:0:root:/root:/bin/bash 2 bin:x:1:1:bin:/bin:/sbin/nologin drink tea 3 daemon:x:2:2:daemon:/sbin:/sbin/nologin # 嘿嘿!在 a 后面加上的字串就已将出现在第二行后面棉!那如果是要在第二行前呢? # nl /etc/passwd | sed '2i drink tea' 就对啦! 范例三∶在第二行后面加入两行字,例如『Drink tea or .....』『drink beer?』 [root@linux ~]# nl /etc/passwd | sed '2a Drink tea or ....../ > drink beer ?' 1 root:x:0:0:root:/root:/bin/bash 2 bin:x:1:1:bin:/bin:/sbin/nologin Drink tea or ...... drink beer ? 3 daemon:x:2:2:daemon:/sbin:/sbin/nologin # 这个范例的重点是,我们可以新增不只一行喔!可以新增好几行~ # 但是每一行之间都必须要以反斜线 / 来进行新行的增加喔!所以,上面的例子中, # 我们可以发现在第一行的最后面就有 / 存在啦!那是一定要的喔! 范例四∶我想将第2-5行的内容取代成为『No 2-5 number』呢? [root@linux ~]# nl /etc/passwd | sed '2,5c No 2-5 number' 1 root:x:0:0:root:/root:/bin/bash No 2-5 number 6 sync:x:5:0:sync:/sbin:/bin/sync # 没有了 2-5 行,嘿嘿嘿嘿!我们要的资料就出现啦! 范例五∶仅列出第 5-7 行 [root@linux ~]# nl /etc/passwd | sed -n '5,7p' 5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 6 sync:x:5:0:sync:/sbin:/bin/sync 7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown # 为什么要加 -n 的参数呢?您可以自行下达 sed '5,7p' 就知道了!(5-7行会重复输出) # 有没有加上 -n 的参数时,输出的资料可是差很多的喔! 范例六∶我们可以使用 ifconfig 来列出 IP ,若仅要 eth0 的 IP 时? [root@linux ~]# ifconfig eth0 eth0 Link encap:Ethernet HWaddr 00:51:FD:52:9A:CA inet addr:192.168.1.12 Bcast:192.168.1.255 Mask:255.255.255.0 inet6 addr: fe80::250:fcff:fe22:9acb/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 .....(以下省略)..... # 其实,我们要的只是那个 inet addr:..那一行而已,所以棉,利用 grep 与 sed 来捉 [root@linux ~]# ifconfig eth0 | grep 'inet ' | sed 's/^.*addr://g' | / > sed 's/Bcast.*$//g' # 您可以将每个管线 (|) 的过程都分开来执行,就会晓得原因棉! # 去头去尾之后,就会得到我们所需要的 IP 亦即是 192.168.1.12 棉~ 范例七∶将 /etc/man.config 档案的内容中,有 MAN 的设定就取出来,但不要说明内容。 [root@linux ~]# cat /etc/man.config | grep 'MAN'| sed 's/#.*$//g' | / > sed '/^$/d' # 每一行当中,若有 # 表示该行为注解,但是要注意的是,有时候, # 注解并不是写在第一个字元,亦即是写在某个指令后方,如底下的模样∶ # 『shutdown -h now # 这个是关机的指令』,注解 # 就在指令的后方了。 # 因此,我们才会使用到将 #.*$ 这个正规表示法! 范例八∶利用 sed 直接在 ~/.bashrc 最后一行加入『# This is a test』 [root@linux ~]# sed -i '$a # This is a test' ~/.bashrc # 上头的 -i 参数可以让你的 sed 直接去修改后面接的档案内容喔!而不是由萤幕输出。 # 至于那个 $a 则代表最后一行才新增的意思。
不过鸟哥的不是很全,特补充如下:
[/code]
n和p一起使用:$ sed -n 's/^test/mytest/p' example (-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说,如果某一行开头的test被替换成mytest,就打印 它。
引用:$ sed 's/^192.168.0.1/&localhost/'
example-----&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加
localhost,变成192.168.0.1localhost。
引用:$ sed -n 's//(love/)able//1rs/p'
example-----love被标记为1,所有loveable会被替换成lovers,而且替换的行会被打印出来。
分隔符:$ sed 's#10#100#g'
example-----不论什么字符,紧跟着s命令的都被认为是新的分隔符,所以,“#”在这里是分隔符,代替了默认的“/”分隔符。表示把所有10替
换成100。
用正则表示范围:$ sed -n '/test/,/check/p' example-----所有在模板test和check所确定的范围内的行都被打印。
正则和数字混用表示范围:$ sed -n '5,/^test/p' example-----打印从第五行开始到第一个包含以test开始的行之间的所有行。
$ sed '/test/,/check/s/$/sed test/'
example-----对于模板test和west之间的行,每行的末尾用字符串sed test替换。
一次执行多条命令:$ sed -e '1,5d' -e 's/test/check/'
example-----(-e)选项允许在同一行里执行多条命令。如例子所示,第一条命令删除1至5行,第二条命令用check替换test。命令的执
行顺序对结果有影响。如果两个命令都是替换命令,那么第一个替换命令将影响第二个替换命令的结果。
并不常用的一种用法:$ sed '/test/{ n; s/aa/bb/; }'
example-----如果test被匹配,则移动到匹配行的下一行,替换这一行的aa,变为bb,并打印该行,然后继续。
h命令和G命令:
$ sed -e '/test/h' -e '$G‘
example-----在sed处理文件的时候,每一行都被保存在一个叫模式空间的临时缓冲区中,除非行被删除或者输出被取消,否则所有被处理的行都将
打印在屏幕上。接着模式空间被清空,并存入新的一行等待处理。在这个例子里,匹配test的行被找到后,将存入模式空间,h命令将其复制并存入一个称为保
持缓存区的特殊缓冲区内。第二条语句的意思是,当到达最后一行后,G命令取出保持缓冲区的行,然后把它放回模式空间中,且追加到现在已经存在于模式空间中
的行的末尾。在这个例子中就是追加到最后一行。简单来说,任何包含test的行都被复制并追加到该文件的末尾。
特殊字符"^"和"$"匹配的是模式空间的最开始与最末尾
n:
将模式空间中的内容输出,然后把下一行读入模式空间
sed '/test/{a;b;c}' 这个用法可以针对匹配test的行执行a、b、c这三天命令。
补充几个除d、a、i、s、c、p之外不常用的命令:
h:拷贝模板块的内容到内存中的缓冲区。
H:追加模板块的内容到内存中的缓冲区
g:获得内存缓冲区的内容,并替代当前模板块中的文本。
G:获得内存缓冲区的内容,并追加到当前模板块文本的后面。sed G可以在每一行后面添加一个空白行,这是因为当前内存缓冲区为空,每次都把缓冲区的空内容添加到了每一行后面。
sed '/^$/d;G':用分号分隔多条命令,每一条命令都会作用在当前行上。
更多用法可以参考:
http://sed.sourceforge.net/sed1line_zh-CN.html http://blog.chinaunix.net/u2/89923/showart_2206200.html http://www.tsnc.edu.cn/default/tsnc_wgrj/doc/sed.htm
3、awk
待续。。。。。。。
相关文章推荐
- Shell正则表达式之grep、sed、awk实操笔记
- 学习shell, 正则表达式, awk, sed
- Shell正则表达式与grep、sed、awk的特点
- Shell基础(四):正则表达式、cut、awk、sed命令
- shell脚本之正则表达式、函数、grep、sed、awk、printf等基本命令配置详解
- 转――[Shell学习笔记] Shell正则表达式与grep、sed、awk的特点
- shell中的数组、正则表达式、sed、awk的使用
- 学习笔记之Shell脚本学习指南 & sed与awk & 正则表达式
- Shell正则表达式与grep、sed、awk的特点
- Shell正则表达式之grep、sed、awk 与鸟哥Linux私房菜搜藏
- shell sed 和正则表达式 以及向sed传递参数
- 一个shell的应用(sed加awk加正则)
- Linux基础之-正则表达式(grep,sed,awk)
- grep、sed、awk和正则表达式
- 三个支持正则表达式的行处理的工具: grep/sed/awk
- shell脚本之正则表达和文本处理(文本处理三剑客:1、grep 2、sed 3、awk)
- grep,sed,awk与简单正则表达式应用
- (九)正则表达式、sed、awk(二)
- Linux 常用命令sed/awk/grep及正则表达式
- grep、sed、awk、perl 等对正则表达式的支持的差别