linux命令之sed, awk, grep, cut

from :  http://blog.sina.com.cn/s/blog_61c006ea0100nf1g.html

inux命令之sed, awk, grep, cut篇

用下来感觉这4个命令比较常用，功能也比较强大，等我有时间了要好好整理一下。

首先介绍一下cut，之前有文章已经讲过它的用法了，这次连带cut的死对头paste，一起拎出来讲讲。

第一篇 cut

常用参数：

-c 根据字符，用法：cut -cnum1-num2 filename 截取num1～num2之间的字符，字符从1开始记。

-f 根据域，默认为tab分隔

-d 定义域分隔符

范例：

shell> cat example

test2

this is test1

shell> cut -c1-6 example ## print 开头算起前 6 个字元

test2

this i

-c m-n 表示显示每一行的第m个字元到第n个字元。例如：

---------file-----------

liubi 23 14000

---------file-----------

# cut -c 1-5,10-14 file

liubi 14000

-f m-n 表示显示第m栏到第n栏(使用tab分隔)。例如：

---------file-----------

liubi 23 14000

---------file-----------

# cut -f 1,3 file

liubi 14000

-c 和 －f 参数可以跟以下子参数：

m 第m个字符或字段

m- 从第m个字符或字段到文件结束

m-n 从第m个到第n个字符或字段

-n 从第1个到第n个字符或字段

我们经常会遇到需要取出分字段的文件的某些特定字段，例如 /etc/password就是通过":"分隔各个字段的。可以通过cut命令来实现。例如，我们希望将系统账号名保存到

特定的文件，就可以：

cut -d: -f 1 /etc/passwd > /tmp/users

-d用来定义分隔符，默认为tab键，-f表示需要取得哪个字段

如：

使用|分隔

cut -d'|' -f2 1.test>2.test

使用:分隔

cut -d':' -f2 1.test>2.test

这里使用单引号或双引号皆可。

对于特殊字符用\来转义（以“-”为分隔符切割后，要第一个字段）：

BGIOSGA005099-TA

BGIOSGA005310-TA

cut -d\- -f 1 file >out

或者：cut "\-" -f 1 file >out

cut的死对头：paste

paste file1 file2 >file3

把文件1与文件2按列合并（有没有发现跟cut正好相反呢？）

$ less 111

abc ddd eee

$ less 222

123 444 555

$ paste 111 222 >333

$ less 333

abc ddd eee     123 444 555

用-d参数可以自定义分隔符

$ paste -d: 111 222 >444

$ less 444

abc ddd eee:123 444 555

paste命令还有一个很有用的选项"-"。意即对每一个"-"，从标准输入中读一次数据。-d参数来定义分隔符。以一个3列格式显示目录列表。方法如下：

$ ls |paste -d: - - -     #注意，"-"和"-"之间有空格

block_info_down_1000:block_info_down_3000:sv_test

block_info_up1000:block_info_up3000:module_indel_sv

module_test:old:regulation_region_down.pl

sample.Q20.down1000:sample.Q20.down3000:sample.Q20.up1000

sample.Q20.up3000:sample_to_9311.snp.Q20.filter.sort:sample_to_test

第二篇 awk

awk 用法：awk ' pattern {action} '

a w k语言的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息

变量名 含义

ARGC 命令行变元个数

ARGV 命令行变元数组

FILENAME 当前输入文件名

FNR 当前文件中的记录号

FS 输入域分隔符，默认为一个空格

RS 输入记录分隔符

NF 当前记录里域个数

NR 到目前为止记录数

OFS 输出域分隔符

ORS 输出记录分隔符

用法介绍：

1,模式匹配

awk '/zqy/' fileA #寻找出fileA中含有zqy的行 等同于awk '$0~/zqy/' fileA

awk '$1~/88/' fileA #找出第一个域里面包含88的行

awk '$1~/88/{print $2}' fileA #找出第一个域里面包含88的行后，只打印该行的第二个域

2,对不同的域进行操作

awk '$2 >25 && $2<=55' fileA #找出第二个域里面满足条件的行，可以加上{print $n}来打印任意域

############### fileB #################

884     46      1       8       5       944

734     41      0       10      2       787

647     29      1       8       1       686

536     26      1       9       0       572

############### fileB #################

$ less fileB

884     46      1       8