您的位置:首页 > 运维架构 > Shell

Linux Shell文本处理命令技巧

2016-05-07 23:30 447 查看
find命令

按正则表达式来匹配文件

find -regex 貌似这里的正则表达式规则和一般的正则表达式规则有点不一样 还没有弄清楚

按照时间搜索 -号表示小于 +号表示大于

find . [-atime | -mtime | -ctime] [+|-]n[smhdw]

按大小搜索 单位k M G

find . -type f -size [-|+]2k

按权限搜索

find -perm mode 严格匹配模式

find -perm -mode 表示权限位转换为二进制后,1的比特位要匹配,0的比特位不用匹配

find -perm +mode 与 -mode的区别是+mode只需其中的任意一个1比特位被匹配,-mode是所有1比特位都必须被匹配,同样+mode也不管0位

将找到的文件拷贝到文档目录

find . -type f -mtime +10 -name “*.txt” -exec cp {} ~/Documents/ \;

-exec中指定脚本执行

-exec ./commands.sh {} \;

grep命令

-o 只输出匹配的文本行

-v 只输出没有匹配的文本行

-c 统计文件中包含文本的次数

-n 打印匹配的行号

-i 搜索时忽略大小写

-l 只打印文件名

递归搜索某个目录,并打印出行号

grep “Jonathan” . -R -n

将找到的匹配高亮

grep test . -R -n –colour

匹配多个模式

grep -e “test” -e “image” . -R -n –colour

xargs命令

xargs命令的作用是讲stdin的输入按照一定的方式组织,然后把组织好的结果当做参数传给下一个命令

-0 当sdtin含有特殊字元时候,将其当成一般字符

sort命令

-n 按数字进行排序

-d 按字典序进行排序

-r 逆序排序

-k N 指定按第N列排序

uniq命令

uniq消除重复行

sort unsort.txt | uniq

统计各行在文件中出现的次数

sort unsort.txt | uniq -c

找出重复行

sort unsort.txt | uniq -d

tr命令

echo 12345 | tr ‘0-9’ ‘9876543210’ // 0对应9 1对应8 。。。

字符类

alnum:字母和数字

alpha:字母

digit:数字

space:空白字符

lower:小写

upper:大写

cntrl:控制(非可打印)字符

print:可打印字符

使用方法:tr [:class:] [:class:]

eg: tr ‘[:lower:]’ ‘[:upper:]’

paste命令拼接两个文件

paste file1 file2

wc命令

wc -l file // 统计行数

wc -w file // 统计单词数

wc -c file // 统计字符数

sed命令

首处替换

sed ‘s/text/replace_text/’ file //替换每一行的第一处匹配的text

全局替换

sed ‘s/text/replace_text/g’ file

默认替换后,输出替换后的内容,如果需要直接替换原文件,使用-i:

sed -i ‘s/text/repalce_text/g’ file

移除空白行

sed ‘/^$/d’ file

变量转换

已匹配的字符串通过标记&来引用.

echo this is en example | seg ‘s/\w+/[&]/g’

$>[this] [is] [en] [example]

子串匹配标记

第一个匹配的括号内容使用标记 \1 来引用

sed ‘s/hello([0-9])/\1/’ file

双引号求值

sed通常用单引号来引用;也可使用双引号,使用双引号后,双引号会对表达式求值:

sed ‘s/$var/HLLOE/’

awk命令

结构

awk ’ BEGIN{ statements } {statements} END{ statements } ’

NR:表示记录数量,在执行过程中对应当前行号;

NF:表示字段数量,在执行过程总对应当前行的字段数;

0:这个变量包含执行过程中当前行的文本内容;0:这个变量包含执行过程中当前行的文本内容;
1:第一个字段的文本内容;

$2:第二个字段的文本内容;

打印每一行的第二和第三个字段:

awk '{print $2, $3}' file


统计文件的行数

awk ' END {print NR}' file


打印行号小于5的行

awk 'NR < 5 {print $0}' file


打印第一行和第四行

awk 'NR==1,NR==4 {print $0}' file


打印包含有text文本的行 可以使用正则表达式 功能超级强大

awk '/text/ {print $0}'


打印不包含text文本的行

awk '!/linux/ {print $0}'
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: