正则表达式(grep)元字符及模式匹配的介绍及sed高级应用选项
2013-03-07 18:23
375 查看
当要查看文本中特定字符的时候,我们会经常用到GREP、SED、AWK,今天我们一起来学习下LINUX中的文本过滤工具GREP和SED的基本使用:
正则表达式: 定义: 是一些字符或是特殊字符串模式的集合。 功能:根据模式搜索文本,并将符合模式的文本行显示出来。 Pattern(模式): 文本字符和正则表达式的元字符组合而成匹配条件 grep: grep简介 grep(global search regular RE) < /span>and print out the line,全面搜索正则表达式并把行打印出来 是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。 Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。 egrep是grep的扩展,支持更多的RE元字符, fgrep就是fixed grep或fast grep,它们把所有的字母都看作单词,也就是说,正则表达式中的元字符 表示回其自身的字面意义,不再特殊。linux使用GNU版本的grep。它功能更强,可以通过-G、-E、-F命令行选项来使用egrep和fgrep的功能。 grep是很常见也很常用的命令,它最重要的功能就是进行字符串数据的比较,然后将符合用户要求的字符串显示出来。 在这里需要说明的是,grep在数据中查找一个字符串时,是以”整行“为单位来进行数据选取的。也就是说,假如一个文件内有10行,其中有两行具有 所搜索的字符串,则将那两行显示在屏幕上,其它则丢去。 注:默认情况下正则表达式工作在贪婪模式下 grep [options] PATTERN [FILE...] -a:在二进制文件夹中,以文本文件的方式搜索数据。 -i:忽略大小写 --color:将匹配的字符串以颜色基于现实 -v:反向查询,即显示出没有被‘搜索字符串’内容的哪一行 -o:只显示被模式匹配的字符串 grep -o 'root' /etc/passwd root .... -n:输出行号 -c:计算找到‘搜索字符串’的次数 -A:# 匹配结果并将匹配结果的后#行一并显示 -B: # 匹配结果并将匹配结果的前#行一并显示 -C:A and b 显示匹配结果前和后各几行。 正则表达式就是里面有一些元字符,这些字符不表示它本身的意思,而表示通配的意义。 介绍grep进行文件搜索时所用到的云字符并加以介绍 搜索特定字符串、利用[]来搜索集合字符、任意一个字符(.)与重复字符(*)、 行首与行尾字符^$、限定连接重复字符范围{}、位置锚定、组 下面我们就来一起学习元字符的含义: ^ : 锚定行首 例如: '^root':表示以root作为行首进行查找 $ : 锚定行尾 例如: 'nologin$':表示查找以nologin结尾所匹配的行 . : 匹配任意单个字符 例如: 'r..t':表示查找以r开头,t结尾并且中间存在两个字符匹配的行 * : 一个单字符后紧跟*,匹配0个或多个此单字符 例如: 'ok*':表示以o为开头后面可以没有k个字符,也可以出现多次 .*: 任意字符 例如: 'root.*':表示查找以root开头后面跟任意字符所匹配的行 []:匹配[]内字符序列范围 例如: '[a-z]'表示匹配[]任意一个小写字母 [^]:匹配[]内以外的字符串 例如: '[^root]':表示除root以外的行 ^$:显示空白行 例如: '^$':表示以空白行作为模式并显示匹配的行 \<: 其后面的任意string必须作为单词首部出现 例如: '\<root':表示查找以root作为模式而且必须出现在行首 \>: 其前面的任意string必须作为单词尾部出现 例如: 'nologin\>':表示查找以root作为模式而且必须出现在行尾 \<sting\>: 以string为整体并进行对文本文件进行查找 例如: '\<root\>':表示以root为单词并进行搜索 \(\):分组 例如: \(ab\)*:把ab当作整体,ab可以出现0次,1次,或多次 \(\)\1:引用第一个左括号以及与之对应的右括号所包括的所有内容 \2: \3: 例如: \(ab\)\1:表示以ab为以个整体显示,并引用前面ab字符串显示出来 \ :用来注释一个元字符的特殊含义。因为有在shell中一些元字符有特殊含义。 例如: '\/'表示查找以'/'作为模式进行查找 pattern\{m\}:用来匹配前面pattern出现n次 例如: 'root\{2\}:表示匹配root字符串而且必须出现2次 pattern\{m, \}:用来匹配前面pattern至少m次,多则不限 例如:'root\{1, \}:表示至少出现1次root,多则不限 pattern\{m,n\}:用来匹配前面pattern至少m次,至多n次 例如: 'root\{1, 2\}:表示至少出现1次root,至多2次 EGREP: egrep和grep -E的元字符扩展集 +:匹配一个或多个先前的字符。如:'[a-z]+able',匹配一个或多个小写字母后跟able的串,如loveable,enable,disable等。 ?:匹配零个或多个先前的字符。如:'gr?p'匹配gr后跟一个或没有字符,然后是p的行。 a|b|c:匹配a或b或c。如:grep|sed匹配grep或sed ():分组符号,如:love(able|rs)ov+匹配loveable或lovers,匹配一个或多个ov。 x{m},x{m,},x{m,n}:作用同x\{m\},x\{m,\},x\{m,n\} POSIX字符类: [[:space:]]:所有空格字符 [[:punct:]]:标点符号 [[:lower:]]:小写字母 [[:upper:]]:大写字母 [[:digit:]]:数字 [[:alnum:]]:数字和大小写字母 sed基本用法: sed(Stream EDitor):它是一种流编辑器 sed:文本编辑器,而不是字处理器,只是操作纯ASCII码文本的,其次它在操作文本的时候,是按行进行的,逐行进行。 sed的主要功能是实现逐行处理文本的,所以我们称它为行编辑器。 sed的处理机制: 每当处理一个文本文件时,它不会直接编辑文本文件的本身,而是将文本文件的内容逐行读取到内存空间里,而后在内存空间里完成编辑工作,随后将编辑出的结 果以标准输出显示到屏幕上。 我们称这个内存空间成为模式空间。 sed: 模式空间 默认不编辑原文本文件本身,仅对模式空间中的数据做处理;而后将处理结束后,将模式空间打印至屏幕。 sed [options] 'AddressCommand' file ... -n: 静默模式,不再默认显示模式空间中的内容,只显示符合条件的行。 -i: 直接修改原文件 -e SCRIPT -e SCRIPT:可以同时执行多个脚本 -f /PATH/TO/SED_SCRIPT sed -f /path/to/scripts file -r: 表示使用扩展正则表达式 Address: 1、StartLine,EndLine 比如1,10,表示第一行到第10行 $:表示最后一行 $-1:表示倒数第二行 2、/RegExp/:支持正则表达式 /^root/ 3、/pattern1/,/pattern2/ 第一次被pattern1匹配到的行开始,至第一次被pattern2匹配到的行结束,这中间的所有行 4、LineNumber 指定的行 5、StartLine, +N 从startLine开始,向后的N行; '1.+2': Command: d: 删除符合条件的行; For example:删除/etc/inittab文件中1到10行的内容 # sed '1,10d' /etc/inittab For example:删除/etc/passwd文件中包括hdoop的行 # sed '/hdoop/d'/etc/passwd p: 显示符合条件的行; For example:显示/etc/passwd文件中以hdoop开头的行 # sed '/^hdoop/p' /etc/passwd a \string: 在指定的行后面追加新行,内容为string For example:显示/etc/passwd文件中以hdoop开头的行后面追加“I am hdoop” # sed '/^hdoop/a \I am hdoop /etc/passwd 如果想加两行的话,我可以使用换行符 \n:可以用于换行 i \string: 在指定的行前面添加新行,内容为string For example:显示/etc/passwd文件中以hdoop开头的行前面追加“I am hdoop” # sed '/^hdoop/i \I am hdoop' /etc/passwd r FILE: 将指定的文件的内容添加至符合条件的行处 For example:在/etc/passwd文件中第二行后面追加/etc/inittab文件中的内容 # sed '2r /etc/inittab /etc/passwd 即可: 如果是在指定第一行和第二行后面添加指定文件内容的行 # sed '1,2r /etc/inittab /etc/passwd w FILE: 将地址指定的范围内的行另存至指定的文件中; For example:在/etc/passwd文件中以hdoop开头的行保存至/tmp/hdoop.bak # sed '/^hdoop/w /tmp/hdoop.bak' /etc/passwd s/pattern/string/修饰符: 查找并替换,默认只替换每行中第一次被模式匹配到的字符串 For example:查找/etc/passwd文件中hdoop字符换成大写的hoop # sed 's/hdoop/HDOOP/' /etc/passwd 修饰符 g: 全局替换 i: 查找时忽略字符大小写 \(\), \1, \2 For example:将下面的like修改为liker,love修改为lover l..e: like-->liker love-->lover # sed 's#\(l..k\)#\1r#g' /tmp/text # sed 's#l..k#&r#g' /tmp/text &: 引用模式匹配整个串 For example:将下面的小写l换成大小l like-->Like love-->Love # sed 's#l\(..e\)#L\1#g' sed.text grep和sed命令的使用,就先告一段落,以上内容会陆续进行添减,敬请关注:
本文出自 “See you next year CA” 博客,请务必保留此出处http://guodayong.blog.51cto.com/263451/1149574
相关文章推荐
- grep和sed匹配多个字符关键字的用法
- GeekTool介绍及Shell模式应用二则(以及df、cal、date、sed的使用)
- js中使用正则表达式(五)特殊字符、匹配模式、捕获组与反向引用介绍
- 用sed、awk、grep同时匹配多个条件(与模式、或模式)
- 模式匹配应用
- iOS监听模式系列之键值编码KVC、键值监听KVO的简单介绍和应用
- 正则表达式中最短匹配模式的用法浅析
- 随笔:linux中正则表达式BRE模式下的特殊匹配字符
- 第7章 sed、gawk介绍与正则表达式-----------(定义基本正则表达式(BRE)模式)
- perl模式匹配中用含特殊字符的变量?(using a variable as a pattern which contains special characters?)
- Web开发模式【Mode I 和Mode II的介绍、应用案例】
- 哈希算法在模式匹配问题中的应用
- opencv轮廓高级应用(轮廓匹配,几何直方图)
- sed 匹配多个字符 “或”
- Android源码学习之单例模式应用及优点介绍
- shell -- 使用 grep 的 -o 和 -E 选项进行正则的精确匹配
- grep多字符匹配
- 实现一个挺高级的字符匹配算法: 给一串很长字符串,要求找到符合要求的字符串,例如目的串:123 1******3***2 ,12*****3这些都要找出来
- 正则表达式实现字符的模糊匹配功能示例
- Vim工作模式、Vim基础应用、高级应用