Linux下shell中的文本处理正则表达式
2019-08-19 19:00
120 查看
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Fische_Cocoo/article/details/99749593
由正则表达式或者字符及基本文本字符所编写的过滤条件
例:显示行数
1.grep 文本过滤命令
Global search regular expressing and print out the line
全面搜索研究正则表达式并显示出来
grep命令是一种强大的文本搜索工具,根据用户指定的”模式“对目标文本进行匹配检查,打印匹配到的行
由正则表达式或者字符及基本文本字符所编写的过滤条件
grep的格式
grep 匹配条件 处理文件
e.g.
grep root passwd /过滤出passwd中含有root的行 grep ^root passwd /过滤出passwd中以root开头的行 grep root$ passwd /过滤出passwd中以root结尾的行 grep -i root passwd /忽略大小写过滤出passwd中含有“root”的行 grep -E "root|ROOT" passwd /过滤出passwd中含有root或ROOT的行 grep -Ei "^root|root$" passwd -v | grep root /过滤出passwd中除了以root开头和结尾的行 grep ROOT passwd -n2 /过滤出passwd中ROOT行以及它的上下两行 grep ROOT passwd -A1 /过滤出passwd中ROOT行以及它的下一行 grep ROOT passwd -B1 /过滤出passwd中ROOT行以及它的上一行
grep中字符的匹配位置设定
^关键字 关键字$ \<关键字 关键字\> \<关键字\>
grep中的字符的匹配次数设定
* /字符出现[0-任意次] \> /字符出现[0-1次] \+ /字符出现[1-任意次] \{n\} /字符出现[n次] \{m,n\} /字符出现[最少m次,最多n次] \{0,n\} /字符出现[0-n次] \{m,\} /字符出现[至少m次] \(xy\)\{n\}xy /关键字出现[n次] .* /关键字之间匹配任意字符
grep中的正则表达式
^westos westos^ 'w....s' 'w.....' '.....s'
grep正则表达式与扩展正则表达式
正规的grep不支持扩展的正则表达式,竖线是用于表示“或”的扩展正则表达式元字符,正规的grep无法识别
加上反斜杠,这个字符就像被翻译成扩展正则表达式,就像grep和grep -E一样
grep xy westos /过滤查看westos文件中的xy grep x*y westos /x个数任意后跟y grep x.y westos /xy中间跟任意一个字符 grep -E x?y westos /y前紧跟0-1个x grep -E x+y westos /y前紧跟x个数是1到任意个,匹配到所有的对 grep -E x{1}y westos /y前有一个x即可,匹配所有 grep -E "\<x{1}y" westos /y前有一个x,且在行首 grep -E "x{1}y\>" westos /y前有一个x,且在行末 grep -E "\<x{2}y\>" westos /y前有二个x,且一行只有xy grep -E "x{1,}y" westos /y前的x个数1到任意,匹配所有 grep -E "(xy){1,}" westos /xy个数1到任意
2.sed 行编辑器
stream editor
用来操作纯ASCII码文本
处理时,把当前处理的行李存储在临时缓冲区中,称为”模式空间“(pattern space)可以指定仅仅处理哪些行
sed 符合模式条件的处理,不符合条件的不予处理
处理完成之后把缓冲区的内容送往屏幕
接着处理下一行,这样不断重复,直到文件末尾
sed用法
p模式
显示
sed -n '/\:/p' fstab /屏蔽掉模式空间内容,显示fstab文件中有符号:的行 sed -n '/UUID$/p' fstab /屏蔽掉模式空间内容,显示UUID结尾的行 sed -n '/^UUID/p' fstab /屏蔽掉模式空间内容,显示UUID开头的行 sed -n '2p;6p' fstab /屏蔽掉模式空间内容,显示第2行和6行 sed -n '2,6p' fstab /屏蔽掉模式空间内容,显示2-6行 sed -n '2,6!p' fstab /屏蔽掉模式空间内容,2-6行不显示
模式空间中存在文件所有内容
-n 只显示,屏蔽模式空间内的数据 不加-n 多显示,将选择的内容显示一次,再将文件内容显示一次,相当于选择内容显示两次
例
:ifconfig eth0 | sed -n '/inet\>/p'/查看ifconfig eth0 显示inet行的内容
例:显示行数
cat -b fstab > westos sed 5p westos
d模式
删除
/不能屏蔽内存空间,即使用-n
sed '/^UUID/d' fstab /不显示UUID开头的行 sed '/^#/d' fstab /不显示以#开头的行 sed '/^$/d' fstab /不显示空行,删掉空行 sed '1,4d' fstab /不显示1-4行 sed '/^UUID/!d' fstab /不显示以UUID的行
a模式
下边添加
sed '/^UUID/a \hello sed' fstab /在以UUID开头的行下一行添加hello sed内容 sed '/^UUID/a \hello sed\nwestos' fstab /在以UUID开头的行下一行添加hello sed内容,并换行添加westos
i模式
上边插入
sed '/^UUID/i \hello sed\nwestos' fstab /在以UUID开头的行上一行添加hello sed内容,并换行添加westos
c模式
替换
sed '/^#/c\hello westos' fstab /在文件fstab中将以#开头的行的内容全部换成hello westos
w模式
写到文件里
sed '/^UUID/w /mnt/yy.txt' /etc/fstab /在文件/etc/fstab中将以UUID开头的行的内容全部写入到文件yy.txt,yy.txt可以原不存在,直接写入 sed -n '/^UUID/w /mnt/yy.txt' /etc/fstab /在文件/etc/fstab中将以UUID开头的行的内容全部写入到文件yy.txt,加-n在写入时不显示模式空间内容 sed '/^UUID/=' fstab /在以UUID开头的行添加行号 sed '6r /etc/issue' /etc/fstab /将/etc/issue写入到/etc/fstab第六行 sed '/^#/=' fstab > file1 /给fstab文件中以#开头的行加行号导入到法file1文件(必须存在),不改变fstab文件内容 sed '/^#/=' fstab -i file1 /给fstab文件中以#开头的行加行号,并把他导入到法file1文件 /加行号不能使用/w写入文件 -i 可更改本身内容 > 不更改本身内容,但有清空本身内容的功能
整合文件
sed '/^[0-9]/d' -i fstab /将0-9开头的行屏蔽掉整合到文件fstab,文件中不存在有行号的行
例:
sed '/^#/=' fstab > fstab /fstab内容被清空 sed '/^$/d;/^#/=' fstab /屏蔽空行,并显示行号
例:
sed -n '/^[0-9]/p' fstab /若不需要则整合 sed '/^[0-9]/d' -i fstab
sed的其他用法
sed -n '/^UUID/=' fstab /屏蔽掉模式空间,显示以UUID开头行的行号 sed -n -e '/^UUID/p' -e '/^UUID/=' fstab /-e表示直接在命令列模式上进行sed动作的
编辑;表示同时的意思
sed -e 's/See/westos/g;s/by/lee/g' fstab /直接在命令列模式上进行替换 sed -f rule fstab /-f后边跟sed脚本文件名,表示对于fstab执行rule规则 sed 's/^\//#/g' /etc/fstab /将/etc/fstab全文以/做为开头的/替换为# sed 's@^/@#@g' /etc/fstab /将/etc/fstab全文以/做为开头的/替换为# sed 's/\//#/g' /etc/fstab /将/etc/fstab全文的/替换为# sed '1,4s/#//g' /etc/fstab /将/etc/fstab中1-4行的#全部替换成空
例:
sed -f rule fstab的用法
vim rule /^UUID/d /^#/cwestos sed -f rule fstab
sed 'G' passwd /显示passwd文件每一行后边加一个空行 sed '$!G' passwd /显示每一行后边加一个空行,最后一行不加 sed '=' passwd /显示每一行的前一行加上此行行号 sed '=' passwd | sed 'N;s/\n //g' /sed逐行加载,加N;则加载此行时同时下一行,s表示全文\n表示换行符 显示最后一行,与tail -n 1意思相同
3.awk 报告生成器
awk处理机制:awk会逐行处理文本,支持在处理第一行之前做一些准备工作,以及在处理完最后一行做一些总结性的工作,在命令模式上分别体现如下:
BEGIN{}:读入第一行文本之前执行,一般用来初始化操作
{}:逐行处理,逐行读入文本执行相应的处理,是最常见的编辑指令块
END{}:处理完最后一行文本之后执行,一般用来输出处理结果
awk基本用法
linux上面默认使用gawk
awk '{print FILENAME}' passwd /每处理文件passwd中一行内容就打印一次文件名 awk -F : '{print NF}' passwd /以 : 做为分隔符,抓取文件中每行内容的列数 awk -F : '{print NR}' passwd /以 : 做为分隔符,抓取passwd文件每行的行号 awk -F : '{print NF,NR}' passwd /以 : 做为分隔符抓取passwd文件行数和列数 awk 'BEGIN{print NAME}' /以 : 做为分隔符,开头打印字符NAME awk 'END{print END}' /结尾打印字符END awk -F : 'BEGIN{print NAME}{print $1}END{print END}' passwd #在passwd文件以 : 做为分隔符,开头输出NAME,输出第一列内容,末尾输出END awk '/bash$/' passwd /抓取以bash结尾的一行 awk -F : '/bash$/{print $1}'passwd /抓取以bash结尾的一行并输出第一列 cat -b passwd #查看passwd文件内容并标明行
例:抓取eth0网卡的ip
ifconfig eth0 | awk '/inet\>/ {print $2}'
例:统计在系统中可以登陆系统的用户并且家目录不在/home
awk -F : 'BEGIN{n=0}/bash$/&&$6!~/^\/home/ {print;n++}END{printf n}‘ passwd $6~/bin 第六列等于bin \< 防止前面有字符 >/ 防止后面有字符
相关文章推荐
- Linux的文本处理工具及grep正则表达式的使用
- Linux 学习笔记 -- 第三部分 学习 shell 与 shell script -- 第12章 正则表达式与文件格式化处理
- linux文本处理三剑客之grep家族及其相应的正则表达式使用详解
- Linux文本处理三剑客之grep及正则表达式
- 【Linux相识相知】文本处理工具之grep\egrep\fgrep及正则表达式
- shell中文本处理正则表达式
- Linux文本处理三剑客之grep一族与正则表达式
- [linux学习笔记]第3天:变量分类,重定向,管道命令,程序执行流,文本处理类命令, 正则表达式,短路操作符
- Linux 文本处理工具、grep、正则表达式
- Linux高级文本处理之正则表达式与grep
- Linux---文本处理(正则表达式,grep,awk,sed)
- Linux系统Shell基础之正则表达式,字符处理命令讲解
- linux正则表达式处理文本
- linux - 文本处理 及 正则表达式
- shell中的文本处理正则表达式
- Linux 文本处理,文本工具,查看,分析,统计文本文件,grep,正则表达式
- linux文本处理之常用正则表达式整理
- linux(ubuntu)文本处理工具及正则表达式
- Linux学习第七课-文本处理工具及正则表达式
- Linux文本处理与正则表达式