用Linux命令统计文件内容

近来用Cygwin中的Linux命令解决了很多Windows平台下的日常问题。比如下面要讨论的一个简单问题：统计文件中包含某段文件的行有多少。

1用Grep命令解决

grep "getPosPrice" 13_tp.log |cut -d "," -f 3 | grep"\"processState\":\"0\"" | wc -l

cut命令简介：

cut -d "," -f 3 13_tp.log

-d：按分隔符切割

-f：取第几列

2用Sed过滤行

Sed的强大在过滤行时体现的还不是很明显，在对行进行删除、替换、追加等操作时，Sed的优势体会的淋漓尽致。下面转载下另一篇文章中的例子，来一窥Sed强大之处。

举例：（假设我们有一文件名为ab）

删除某行

[root@localhost ruby] # sed'1d' ab #删除第一行

[root@localhost ruby] # sed'$d' ab #删除最后一行

[root@localhost ruby] # sed'1,2d' ab #删除第一行到第二行

[root@localhost ruby] # sed'2,$d' ab #删除第二行到最后一行

　　显示某行

. [root@localhost ruby] # sed -n '1p' ab #显示第一行

[root@localhost ruby] # sed -n'$p' ab #显示最后一行

[root@localhost ruby] # sed -n'1,2p' ab #显示第一行到第二行

[root@localhost ruby] # sed -n'2,$p' ab #显示第二行到最后一行

　　使用模式进行查询

[root@localhost ruby] # sed -n'/ruby/p' ab #查询包括关键字ruby所在所有行

[root@localhost ruby] # sed -n'/\$/p' ab #查询包括关键字$所在所有行，使用反斜线\屏蔽特殊含义

　　增加一行或多行字符串

[root@localhost ruby]# cat ab

Hello!

ruby is me,welcome to my blog.

end

[root@localhost ruby] # sed '1adrink tea' ab #第一行后增加字符串"drinktea"

Hello!

drink tea

ruby is me,welcome to my blog.

end

[root@localhost ruby] # sed'1,3a drink tea' ab #第一行到第三行后增加字符串"drink tea"

Hello!

drink tea

ruby is me,welcome to my blog.

drink tea

end

drink tea

[root@localhost ruby] # sed '1adrink tea\nor coffee' ab #第一行后增加多行，使用换行符\n

Hello!

drink tea

or coffee

ruby is me,welcome to my blog.

end

　　代替一行或多行

[root@localhost ruby] # sed '1cHi'ab #第一行代替为Hi

Hi

ruby is me,welcome to my blog.

end

[root@localhost ruby] # sed'1,2c Hi'ab #第一行到第二行代替为Hi

Hi

end

　　替换一行中的某部分

　　格式：sed 's/要替换的字符串/新的字符串/g' （要替换的字符串可以用正则表达式）

[root@localhost ruby] # sed -n'/ruby/p' ab | sed 's/ruby/bird/g' #替换ruby为bird

　 [root@localhost ruby] # sed -n '/ruby/p'ab | sed 's/ruby//g' #删除ruby

插入

[root@localhost ruby] # sed -i'$a bye' ab #在文件ab中最后一行直接输入"bye"

[root@localhost ruby]# cat ab

Hello!

ruby is me,welcome to my blog.

end

bye

3强大的Awk

通过-f参数可以达到cut命令的效果

awk –F “,” ‘{print $3}’ 13_tp.log

上面对文件行的过滤也都可以由awk来完成，甚至可以统计出现某段文字的行与未出现行的比例等各种复杂需求。

awk -F ","'BEGIN{s0=0;s1=0}{if($1 ~ "getPosPrice")

{if($3=="\"processState\":\"0\""){s0++}else{s1++}}}END{prints0,s1}' 13_tp.log

格式化后的结构如下：

awk -F "," 'BEGIN { s0=0;s1=0 } {

if ($1 ~"getPosPrice") {

if ($3=="\"processState\":\"0\"") {

s0++

}

else {

s1++

}

}

} END { print s0,s1 }' 13_tp.log

参考资料

linux之sed用法

http://www.cnblogs.com/dong008259/archive/2011/12/07/2279897.html