sed学习笔记二--高级命令

之前写过一篇《sed学习笔记》http://licong.blog.51cto.com/542131/152541，讲了一点sed入门的东西，本篇将继续介绍sed高级命令部分。所谓高级，主要是指这里将要提到的命令都能改变sed执行或者控制的流程顺序（sed通常都是一行被读入模式空间，并用脚本中的sed命令一个接一个的应用于那一行）
高级sed命令分成3个组：1、 处理多行模式空间（N、D、P）。2、 采用保持空间来保存模式空间的内容并使他们可用于后续的命令（H、h、G、g、x）。3、 编写使用分支和条件指令的脚本来更改控制流（：、b、t）。 N命令：追加下一行多行Next(N)命令通过读取当前行的下一行，并把两行拼成一行来进行接下来的处理。$ cat fileline 1line 2line 3line 4file文件中的每一行后面都有一个隐藏的换行符”\n”，sed不对每行末尾的”\n”进行处理。$ sed N fileline 1line 2line 3line 4经过N处理过的输出和原文件没有区别，但是本质是不一样的。这里sed其实认为自己打印的是2行，第一行为”line 1\nline 2”,而第2行为”line3\nline 4”,注意这里的2行末尾依然隐藏换行符”\n”，sed依然不处理行尾的”\n”，但是处理行内的”\n”。因为这里默认的动作是打印，所以处理行内的”\n”我们也看不出来。值得注意的是，处理line 1时，line 2被读入并追加到line 1后面，所以line 1处理完后不再读入line 2（前面已经读过了）而直接读入line 3进行下一个N命令（即读入line 4并追加到line 3后面）。上面2段如果不理解的话，看下面这个命令：$ sed ‘N;s/\n/ /g’ fileline 1 line 2line 3 lin3 4这个命令在原来的基础上把行内的”\n”替换成空格了（尽管用了全局替换标志g，sed依然不处理行尾换行符！），看明白N的作用了吗，单独的N可以创建2行模式空间。 D命令：删除多行模式空间中，直到第一个行内的”\n”为止的所有内容。D命令通常位于N命令之后，用于处理N命令创建的多行模式空间。D命令删除多行模式空间行内第一个”\n”及其之前的内容后，对余下的内容（第一个行内”\n”之后的内容）重新从sed第一个命令进行处理。
D和d的相同点是，删除内容后，重新从sed第一个命令开始处理，这一点看来D和d都有改变sed执行顺序的能力；区别在于d删除模式空间中的所有内容，然后重新读取文本下一行从sed顶部进行处理，而D删除模式空间的一部分内容，而将模式空间剩下的内容从sed顶部进行处理。$ sed ‘N;d’ file$$sed ‘N;D’ fileline 4‘N;d’每次创建2行模式空间，并将模式空间的内容全部删除，所以结果所有4行（sed看来是2行）都删除了。如果file有5行数据，则第5行将被打印出来，因为第5行执行N时读不到下一行了，所以d不执行，打印第5行，你可以自己试一试。‘N;D’每次创建2行模式空间，删除前面一行，并将模式空间的第2行继续执行’N;D’,直到最后一行N没内容可读，不执行D，而是打印最后一行。’N;D’实际构成了一个循环（想想N直接读入下一行，对2行进行处理，下一次对第2行就不处理了而是读取第3行处理；而加了D之后，先处理2行，再对剩下的第2行接着进行处理） P命令：打印模式空间直到第一个”\n”为止的所有内容。p（小写）是打印模式空间的所有内容，P（大写）是打印模式空间的一部分，这一区别和D/d类似。有一点要注意，不要把任何命令放在d或者D后面，因为那样该命令永远也没有执行的机会了。例如sed ‘N;D;P’file和sed ‘N;D’file是完全相同的效果。$ cat fileline 1 licong line 2line 3 licongline 4 licong line 5我们要把分在两行的li和cong合到一行应该怎么做呢？$ sed 'N;s/li\ncong */licong\n/g;P;D' fileline 1 licongline 2line 3 licongline 4 licongline 5执行这个sed命令的流程是这样的：一、首行文本应用N读取下一行，构成2行模式空间line 1 li\ncong line 2s命令将li\ncong (注意cong后有一个空格)替换成licong\n,即line 1 licongline 2接着执行P，打印line 1 licong（P结束后两行模式空间没有改变）再对两行模式空间执行D，删除line 1 licong\n,并将剩下的line 2做为新的模式空间从头执行sed命令；二、对模式空间内容line2先执行N，读取下一行line 3 licong，创建两行模式空间line 2line 3 licong这次s没找到匹配内容，所以执行s后面的P;D命令，重新打印、删除，进行下一轮循环；。。。三、最后一行line 5执行N没有内容可读，直接打印该行。 h、H、g、G、x这几个命令都是用于模式空间和保持空间转换的。这里有必要解释一下模式空间和保持空间了：模式空间——容纳当前输入行的缓冲区。 除了h/H/g/G/x，其他所有sed命令都是针对模式空间的内容进行处理的！保持空间——模式空间以外的一个预留缓冲区。 只有h/H/g/G/x命令可以访问到保持空间的内容，并用于与模式空间内容的转换。
h：将模式空间的内容复制到保持空间，类似与重定向符号>，会覆盖原由保持空间内容H：将模式空间的内容追加到保持空间，类似与追加重定向>>，追加到保持空间的尾行下g：类似h，将保持空间的内容复制到模式空间G：类似H，将保持空间的内容追加到模式空间x：交换模式空间与保持空间中的内容
$ cat file121122$ sed ‘/1/{h;d};/2/G’ file212211这个sed命令完成了反转的功能，我们来看看是怎么实现的：一、/1/{h;d}命令搜索模式空间包含1的行然后先后执行h和d命令。结果首行1将被应用，h把该行（内容为1）复制到保持空间，此时模式空间和保持空间中的内容为：模式空间：1保持空间：1接着执行d，d不能访问保持空间，只处理模式空间的内容，将模式空间的内容删除，此时：模式空间： （空，没有内容）保持空间：1二、d命令执行完之后，执行/2/G，即在模式空间搜索包含2的行进行G处理，而此时模式空间无内容，所以不做任何操作。三、读取下一行文本到模式空间，继续执行’/1/{h;d};/2/G’。下一行文本的内容是2，此时：模式空间：2保持空间：1与步骤二的道理相同，h、d得不到执行（因为模式可空间没找到包含1的行）；而’/2/G’将被执行，将保持空间的内容追加到模式空间后面，此时：模式空间：2 1保持空间：1这一步完成以后，模式空间的内容将被sed默认地打印出来（如果有-n参数才不打印），于是前两行处理完之后，将输出：21
同理，后两行处理完之后，将输出：2211于是，我们看到了最后的结果：212211 这个最简单的例子有很多地方值得挖掘，我们就来看看最重要的几点。1、 当sed后面带有一个以上的命令时，它的处理顺序是这样的： 一次读入一行到模式空间，然后将所有的命令应用于该行；而不是一次将一个命令作用与所有行；2、 当某个条件后面有{}时，{}里面的命令依次作用于满足该条件的行；3、 h/H/g/G命令操作缓冲区时，都会在目的缓冲区后加一个换行（即使该缓冲区无内容），然后复制或追加源缓冲区内容在该换行符之后；4、 没有使用-n参数时，当一行执行完所有命令后，sed会默认打印最终模式空间中的内容； 如果使用-n参数，只有应用了p/P命令的模式空间内容才会被打印出来。
x命令暂不举例，我们来看看最后一组高级命令（：、b、t）分支（b）和测试（t）命令几乎可以任意改变sed命令的执行顺序，他们都将sed转移到包含标签的行，如果没有指定标签，则将转移到命令末尾。b用于无条件的转移（即一碰到b立刻转移）；t用于有条件转移，只有当替换命令改变当前行时才会执行。 标签定义：:lablelable可以随便用什么名字，自己能方便看明白就行；冒号和标签之间不允许有空格，lable后面如果有空格将被认为是lable的一部分（不建议在lable后面带空格）b和t的用法：[address]b [lable][address]t [lable]b/t和lable之间有空格，但lable后面不要插入空格。举例：$ cat fileline 1 licong line 2line 3 licongline 4 licong line 5
$ sed -n '$!{/licong/!{h;N;D}x;G;N;p;b}${/licong/{x;G;p}}' filecong line 2line 3 licongline 4 li 这个sed命令的功能是寻找包含字符串licong的行，并打印该行及其前后一行。这个命令并不完善，它不能很好的处理第一行匹配的情况，加入该功能命令会变得更复杂。我们来解释一下上面的结果是怎么来的。一、sed -n '$!{/licong/!{h;N;D}x;G;N;p;b} 对除末行以外的所有行($!的作用)，执行/licong/!{h;N;D}；x;G;N;p;b二、/licong/!{h;N;D}对不包含字符串licong的行依次执行h；N；D，第一行line 1 li不包含licong，于是执行：把该行复制到保持空间，读取追加下一行，此时模式空间：line 1 li cong line 2保持空间：line 1 li再对模式空间执行D，并接着从头处理新的模式空间，此时模式空间：cong line 2保持空间：line 1 li三、从头对模式空间的内容congline 2执行$!{/licong/!{h;N;D}，此时的模式空间依然不包含licong，所以进行一二两步同样的操作，结束后：模式空间：line 3 licong保持空间：cong line 2四、再从头对新的模式空间line3 licong执行/licong/!{h;N;D}；x;G;N;p;b。因为此时的模式空间包含licong，所以不执行h;N;D了，而是执行x;G;N;p;b。x用与交换模式空间和保持空间的内容，交换的结果是：
模式空间：cong line 2保持空间：line 3 licong
接下来执行G，将保持空间的内容追加到模式空间之后：
模式空间：cong line 2 line 3 licong保持空间：line 3 licong
再执行N，将下一行读取追加到模式空间之后：
模式空间：cong line 2 line 3 licong line 4 li保持空间：line 3 licong再执行p，打印模式空间的内容：cong line 2 line 3 licong line 4 li （这就是我们看到的结果）之后还有一个b，就是跳过b后面的命令，再读下一行。命令最后一部分${/licong/{x;G;p}}是用来处理最后一行的，如果最后一行包含licong则打印该行很上面一行（而不打印下一行，因为没有N命令）
到此，sed的高级命令就介绍完了。《sed&awk》第二版有一句话：“一旦你理解了这里所给出的命令，那么就可以认为自己是真正的sed的主人了。”再总结一下sed所有的功能，总的来说还是替换命令’[address]s/source/replace/flag’最常用，而高级命令则用于完成复杂的任务；还有sed的-n（抑制默认输出）、-i（更改原文件）等参数也很常用。 就写到这里吧，等待拍砖了。。。