Linux文本处理三剑客之sed

sed简介

sed全称Stream Editor，顾名思义为流编辑器，也习惯叫行编辑器，处理文本的方式为按行至上而下读取，匹配，处理并显示或者做其它处理，直到文件末尾。其原理图如下：



命令运行会在内存开辟模式空间和保持空间2个空间用来处理文本内容,流程如下：

1. 读取文本第一行内容至模式空间

2. 当内容没有匹配时，默认会输出，当有匹配时则进行编辑操作（修改，替换，删除，追加，显示等）

3. 处理第一行后,将内容输出，再对第二行处理直到文本结束

模式空间和保存空间

默认情况下，sed是将输入内容一行一行进行处理的，如下例子

sed ‘1,$p’ /etc/passwd

处理过程：sed会一行一行的读入/etc/passwd文件，查看每行是否匹配定址条件（1,$），如果条件匹配，就将行内容放入模式空间，并打印（p命令）。由于文本流本身的输出，而模式空间内容又被打印一遍，所以这个命令最后会将每一行都显示2遍，默认情况下，sed程序在所有的脚本指令执行完毕后，将自动打印模式空间中的内容，这会导致p命令输出相关行两遍，-n选项可以屏蔽自动打印。

模式空间（pattern space）

用于缓存要处理的内容，是sed处理最核心的缓存空间，所有要处理的行内容都会复制进这个空间再进行修改，或根据需要显示。

默认sed不会修改原文件本身内容，只修改模式空间内容。

保持空间（hold space）

除了模式空间以外，sed还实现了另一个内容缓存空间，叫保持空间。可以理解这个空间跟模式空间一样，也就是一段内存空间，一般情况下不用，使用相关参数进行使用。

语法

sed [OPTION] 'script' FILE...

script中有变量引用时用双引号

常用选项

-n

: 不输出模式空间中的内容

-r

: 使用扩展正则表达式

-e

: 可以使用多个命令脚本进行操作

-f sed_script

: 从指定的文本中读取处理脚本

-i

: 直接编辑原文件，默认不对原文件进行操

script

script由

地址定界

和

编辑命令

组成，二者间不能有空格，如：’2,5d’

tips

：可能还含有模式匹配/part/g等 修饰符,如以下例子：

# 去除文本中的html标签
echo "This <b> is </b> an <i>example</i>." | sed -e 's/<[^>]*>//g'  #g属于修饰符

地址定界

空地址

：全文

m

：指定第m行

$

：最后一行

/pattern/

：被此模式匹配到的每一行

m,n

：从第m行到n行

m,+n

：从第m行到m+n行

m,/pattern/

：从第m行到第一次模式匹配到的行

/pat1/,/pat2/

：第一次被模式1匹配的行到第一次被模式2匹配到的行

1~2

：奇数行

2~2

：偶数行

编辑命令

对地址定界下匹配到的内容执行的操作

d

：删除匹配到的行

p

：打印模式空间中的内容

tips：默认情况下是把“模式空间”中的内容全部进行显示，所以其显示的结果是“默认的显示内容+p的内容”，即匹配的行显示2次，通常与-n选项一起使用，表示只显示匹配到的行

a \text

：append,在匹配到的行之后追加text，支持\n实现多行插入

i \text

：insert,在匹配到的行之前追加text

c \text

：change,把匹配到的行和给定的文本进行交换

w file

：将匹配到的内容另存到指定的文件中

r file

：将读取指定的文件内容到匹配的行处（如果指定文件为多行时，追加到匹配行之后）

=

：为匹配到的行在上一行添加行号 ，如sed ‘=’ /etc/fstab

!

：条件取反，格式为地址定界！编辑命令，如’5!d’表第5行不删

s/pattern/str/[修饰符]

：查找替换，常用s@@@和s###

[修饰符]：

g

全局，默认只匹配每一行的第一个

i

不区分大小写

p

显示替换成功的行

后向引用

：

\(**\)

，

\1，\2...

对应括号内容

&

表示引用匹配到整个文本

y/inchars/outchars/

：全局转换命令，会进行inchars和outchars的一对一转换

实例

# 打印第二行到第一次以#开头的行
sed -n '2,/^#/p' /tmp/file1

# 去除文本中的html标签
echo "This <b> is </b> an <i>example</i>." | sed -e 's/<[^>]*>//g'

# 全文每行后添加2行内容
sed 'a \new line\another' /tmp/file2

# 删除文件中的空白行
sed -r '/^[[:space:]]*$/d' file3

# file4中第一次以#开头的行到第一次以ID结尾的行写入sed.txt中
sed -n '/^#/,/ID$/w sed.txt' file4

# 取基名，包括有无最后‘/’的情况
echo "/etc/rc.d/" | sed -r 's@^/.*/([^/]+)/?@\1@g'

# 取目录名，（将基名删除）
echo '/etc/rc.d/init.d/function' | sed -r 's@[^/]+/?$@@'

高级命令

所谓的高级就是用上图示中的保持空间的功能，可以实现模式空间与保持空间中的内容互相替换，追加，删除等操作，以得到各种匪夷所思的结果，强大到没朋友…真正熟练使用不是一朝一夕的事了

h：模式空间–>覆盖–>保持空间

H：模式空间–>追加–>保持空间（加在原有内容之后）

g：保持空间–>覆盖–>模式空间

G：保持空间–>追加–>模式空间（加在原有内容之后）

x：模式空间<–交换–>保持空间

d：删除模式空间中的内容

D：如果模式空间中的内容为多行时，删除模式空间中的第一行

n：读取匹配到的行的下一行到模式空间中（覆盖原内容）

N：读取匹配到的行的下一行到模式空间中（追加在原内容之后）

tips：多处命令间用分号隔开，实现多点编辑，追加或覆盖操作时原空间内容依然存在

sed -n 'n;p' file        # 显示偶数行
sed '/^$/d;G' file       # 删除文件中空白行，再为每行后添加空白行(保持空间为空追加模式空间即加空白行)
sed -r '$!N;$!D' file    # 取出最后两行
sed '1!G;h;$!d' file     # 逆序显示

更好的阅读体验，欢迎到访