Prayer

在一般中寻求卓越
posts - 1256, comments - 190, trackbacks - 0, articles - 0
  C++博客 :: 首页 :: 新随笔 :: 联系 :: 聚合  :: 管理

sed学习笔记二--高级命令

Posted on 2010-09-15 10:33 Prayer 阅读(1565) 评论(0)  编辑 收藏 引用 所属分类: Shell
版权声明:原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://licong.blog.51cto.com/542131/204226
之前写过一篇《sed学习笔记》http://licong.blog.51cto.com/542131/152541,讲了一点sed入门的东西,本篇将继续介绍sed高级命令部分。所谓高级,主要是指这里将要提到的命令都能改变sed执行或者控制的流程顺序(sed通常都是一行被读入模式空间,并用脚本中的sed命令一个接一个的应用于那一行) 

高级sed命令分成3个组:

1、    处理多行模式空间(NDP)。

2、    采用保持空间来保存模式空间的内容并使他们可用于后续的命令(HhGgx)。

3、    编写使用分支和条件指令的脚本来更改控制流(:、bt)。 

N命令:追加下一行
多行Next(N)命令通过读取当前行的下一行,并把两行拼成一行来进行接下来的处理。
$ cat file
line 1
line 2
line 3
line 4
file文件中的每一行后面都有一个隐藏的换行符”\n”sed不对每行末尾的”\n”进行处理。
$ sed N file
line 1
line 2
line 3
line 4
经过N处理过的输出和原文件没有区别,但是本质是不一样的。这里sed其实认为自己打印的是2行,第一行为”line 1\nline 2”,而第2行为”line 3\nline 4”,注意这里的2行末尾依然隐藏换行符”\n”sed依然不处理行尾的”\n”,但是处理行内的”\n”。因为这里默认的动作是打印,所以处理行内的”\n”我们也看不出来。
值得注意的是,处理line 1时,line 2被读入并追加到line 1后面,所以line 1处理完后不再读入line 2(前面已经读过了)而直接读入line 3进行下一个N命令(即读入line 4并追加到line 3后面)。
上面2段如果不理解的话,看下面这个命令:
$ sed ‘N;s/\n/ /g’ file
line 1 line 2
line 3 lin3 4
这个命令在原来的基础上把行内的”\n”替换成空格了(尽管用了全局替换标志gsed依然不处理行尾换行符!),看明白N的作用了吗,单独的N可以创建2行模式空间。 
D命令:删除多行模式空间中,直到第一个行内的”\n”为止的所有内容。
D命令通常位于N命令之后,用于处理N命令创建的多行模式空间。D命令删除多行模式空间行内第一个”\n”及其之前的内容后,对余下的内容(第一个行内”\n”之后的内容)重新从sed第一个命令进行处理。

Dd的相同点是,删除内容后,重新从sed第一个命令开始处理,这一点看来Dd都有改变sed执行顺序的能力;区别在于d删除模式空间中的所有内容,然后重新读取文本下一行从sed顶部进行处理,而D删除模式空间的一部分内容,而将模式空间剩下的内容从sed顶部进行处理。
$ sed ‘N;d’ file
$
$sed ‘N;D’ file
line 4
‘N;d’每次创建2行模式空间,并将模式空间的内容全部删除,所以结果所有4行(sed看来是2行)都删除了。如果file5行数据,则第5行将被打印出来,因为第5行执行N时读不到下一行了,所以d不执行,打印第5行,你可以自己试一试。
‘N;D’每次创建2行模式空间,删除前面一行,并将模式空间的第2行继续执行’N;D’,直到最后一行N没内容可读,不执行D,而是打印最后一行。’N;D’实际构成了一个循环(想想N直接读入下一行,对2行进行处理,下一次对第2行就不处理了而是读取第3行处理;而加了D之后,先处理2行,再对剩下的第2行接着进行处理) 
P命令:打印模式空间直到第一个”\n”为止的所有内容。
p(小写)是打印模式空间的所有内容,P(大写)是打印模式空间的一部分,这一区别和D/d类似。有一点要注意,不要把任何命令放在d或者D后面,因为那样该命令永远也没有执行的机会了。例如sed ‘N;D;P’ filesed ‘N;D’ file是完全相同的效果。
$ cat file
line 1 li
cong line 2
line 3 licong
line 4 li
cong line 5
我们要把分在两行的licong合到一行应该怎么做呢?
$ sed 'N;s/li\ncong */licong\n/g;P;D' file
line 1 licong
line 2
line 3 licong
line 4 licong
line 5
执行这个sed命令的流程是这样的:
一、首行文本应用N读取下一行,构成2行模式空间
line 1 li\n
cong line 2
s命令将li\ncong (注意cong后有一个空格)替换成licong\n,
line 1 licong
line 2
接着执行P,打印line 1 licongP结束后两行模式空间没有改变)
再对两行模式空间执行D,删除line 1 licong\n,并将剩下的line 2做为新的模式空间从头执行sed命令;
二、对模式空间内容line 2先执行N,读取下一行line 3 licong,创建两行模式空间
line 2
line 3 licong
这次s没找到匹配内容,所以执行s后面的P;D命令,重新打印、删除,进行下一轮循环;
。。。
三、最后一行line 5执行N没有内容可读,直接打印该行。
 
hHgGx这几个命令都是用于模式空间和保持空间转换的。这里有必要解释一下模式空间和保持空间了:
模式空间——容纳当前输入行的缓冲区。
除了h/H/g/G/x,其他所有sed命令都是针对模式空间的内容进行处理的!
保持空间——模式空间以外的一个预留缓冲区。
只有h/H/g/G/x命令可以访问到保持空间的内容,并用于与模式空间内容的转换。

h:将模式空间的内容复制到保持空间,类似与重定向符号>,会覆盖原由保持空间内容
H:将模式空间的内容追加到保持空间,类似与追加重定向>>,追加到保持空间的尾行下
g:类似h,将保持空间的内容复制到模式空间
G:类似H,将保持空间的内容追加到模式空间
x:交换模式空间与保持空间中的内容 

$ cat file
1
2
11
22
$ sed ‘/1/{h;d};/2/G’ file
2
1
22
11
这个sed命令完成了反转的功能,我们来看看是怎么实现的:
一、/1/{h;d}命令搜索模式空间包含1的行然后先后执行hd命令。结果首行1将被应用,h把该行(内容为1)复制到保持空间,此时模式空间和保持空间中的内容为:
模式空间:1
保持空间:1
接着执行dd不能访问保持空间,只处理模式空间的内容,将模式空间的内容删除,此时:
模式空间:      (空,没有内容)
保持空间:1
二、d命令执行完之后,执行/2/G,即在模式空间搜索包含2的行进行G处理,而此时模式空间无内容,所以不做任何操作。
三、读取下一行文本到模式空间,继续执行’/1/{h;d};/2/G’。下一行文本的内容是2,此时:
模式空间:2
保持空间:1
与步骤二的道理相同,hd得不到执行(因为模式可空间没找到包含1的行);而’/2/G’将被执行,将保持空间的内容追加到模式空间后面,此时:
模式空间:2
         1
保持空间:1
这一步完成以后,模式空间的内容将被sed默认地打印出来(如果有-n参数才不打印),于是前两行处理完之后,将输出:
2
1

同理,后两行处理完之后,将输出:
22
11
于是,我们看到了最后的结果:
2
1
22
11 
这个最简单的例子有很多地方值得挖掘,我们就来看看最重要的几点。

1、 sed后面带有一个以上的命令时,它的处理顺序是这样的:

一次读入一行到模式空间,然后将所有的命令应用于该行;而不是一次将一个命令作用与所有行;

2、 当某个条件后面有{}时,{}里面的命令依次作用于满足该条件的行;

3、 h/H/g/G命令操作缓冲区时,都会在目的缓冲区后加一个换行(即使该缓冲区无内容),然后复制或追加源缓冲区内容在该换行符之后;

4、 没有使用-n参数时,当一行执行完所有命令后,sed会默认打印最终模式空间中的内容;

如果使用-n参数,只有应用了p/P命令的模式空间内容才会被打印出来。


x命令暂不举例,我们来看看最后一组高级命令(:、bt
分支(b)和测试(t)命令几乎可以任意改变sed命令的执行顺序,他们都将sed转移到包含标签的行,如果没有指定标签,则将转移到命令末尾。b用于无条件的转移(即一碰到b立刻转移);t用于有条件转移,只有当替换命令改变当前行时才会执行。 
标签定义:
:lable
lable可以随便用什么名字,自己能方便看明白就行;冒号和标签之间不允许有空格,lable后面如果有空格将被认为是lable的一部分(不建议在lable后面带空格)
bt的用法:
[address]b [lable]
[address]t [lable]
b/tlable之间有空格,但lable后面不要插入空格。
举例:
$ cat file
line 1 li
cong line 2
line 3 licong
line 4 li
cong line 5 

$ sed -n '$!{/licong/!{h;N;D}
x;G;N;p;b
}
${/licong/{x;G;p}}' file
cong line 2
line 3 licong
line 4 li 
这个sed命令的功能是寻找包含字符串licong的行,并打印该行及其前后一行。这个命令并不完善,它不能很好的处理第一行匹配的情况,加入该功能命令会变得更复杂。我们来解释一下上面的结果是怎么来的。
一、sed -n '$!{/licong/!{h;N;D}
x;G;N;p;b
对除末行以外的所有行($!的作用),执行/licong/!{h;N;D}x;G;N;p;b
二、/licong/!{h;N;D}
对不包含字符串licong的行依次执行hND,第一行line 1 li不包含licong,于是执行:
把该行复制到保持空间,读取追加下一行,此时
模式空间:line 1 li
cong line 2
保持空间:line 1 li
再对模式空间执行D,并接着从头处理新的模式空间,此时
模式空间:cong line 2
保持空间:line 1 li
三、从头对模式空间的内容cong line 2执行$!{/licong/!{h;N;D},此时的模式空间依然不包含licong,所以进行一二两步同样的操作,结束后:
模式空间:line 3 licong
保持空间:cong line 2
四、再从头对新的模式空间line 3 licong执行/licong/!{h;N;D}x;G;N;p;b。因为此时的模式空间包含licong,所以不执行h;N;D了,而是执行x;G;N;p;bx用与交换模式空间和保持空间的内容,交换的结果是:

模式空间:cong line 2
保持空间:line 3 licong

接下来执行G,将保持空间的内容追加到模式空间之后:

 模式空间:cong line 2
           line 3 licong
保持空间:line 3 licong

再执行N,将下一行读取追加到模式空间之后:

 模式空间:cong line 2
line 3 licong
                    line 4 li
保持空间:line 3 licong
再执行p,打印模式空间的内容:
cong line 2
    line 3 licong
       line 4 li            (这就是我们看到的结果)
之后还有一个b,就是跳过b后面的命令,再读下一行。命令最后一部分${/licong/{x;G;p}}是用来处理最后一行的,如果最后一行包含licong则打印该行很上面一行(而不打印下一行,因为没有N命令)

到此,sed的高级命令就介绍完了。《sed&awk》第二版有一句话:“一旦你理解了这里所给出的命令,那么就可以认为自己是真正的sed的主人了。”
再总结一下sed所有的功能,总的来说还是替换命令’[address]s/source/replace/flag’最常用,而高级命令则用于完成复杂的任务;还有sed-n(抑制默认输出)、-i(更改原文件)等参数也很常用。 
就写到这里吧,等待拍砖了。。。

本文出自 “licong” 博客,请务必保留此出处http://licong.blog.51cto.com/542131/204226

本文出自 51CTO.COM技术博客

只有注册用户登录后才能发表评论。
网站导航: 博客园   IT新闻   BlogJava   知识库   博问   管理