Linux新手生存笔记[6]——重点命令3-grep&sort&find&uniq
2013-02-25 18:27
399 查看
--------------------------------------------
目录
命令：grep1
命令：sort4
命令：find6
命令：uniq8
命令：grep
| GrepGeneralRegularExpressionParser |
| 【globalsearchregularexpression(RE)andprintouttheline】 全面搜索正则表达式并把行打印出来，是一种强大的文本搜索工具，它使用正则表达式搜索文本，并把匹配的行打印出来。 grep（全局正则表达式版本）允许对文本文件进行模式查找。如果找到匹配模式，grep打印包含模式的所有行。grep支持基本正则表达式，也支持其扩展集。 资料：mangrep |
| 功能： |
| 使用正则表达式搜索文本并打印匹配行 |
| 格式: |
| grep[options]PATTERN[Files] 注：输入字符串作为参数，最好双引号括起“mystr”[一以防被误解为shell命令，二可以用来查找多个单词组成的字符串] 在调用变量时，也使用双引号括起“$MYSTR” 使用正则[匹配模式]是，应使用单引号括起‘49[32]’ |
| 选项 | |
| -c | 只输出匹配的行数,而不输出匹配的行 |
| -i | 不区分大小写 |
| -h | 查询多个文件时不显示文件名【默认是文件名:符合的记录行】 |
| -l | 查询多个文件时，只输出包含匹配字符的文件名 |
| -n | 显示匹配行及行号 |
| -s | 不显示不存在或无匹配文本的错误信息 |
| -v | 显示不包含匹配文本的所有行 |
| -o | 仅显示匹配的部分 |
| -r | 递归选项。指示GNUgrep和egrep检查做为参数的目录下的文件，然后递归的检查该目录下所有子目录下的文件 |
| -E | 启用扩展表达式，可使用扩展元字符egrep + 匹配一个或多个先前的字符。如：'[a-z]+able'，匹配一个或多个小写字母后跟able的串，如loveable,enable,disable等。 ? 匹配零个或1个先前的字符。如：'gr?p'匹配gr后跟一个或没有字符，然后是p的行。 * 匹配0个或多个 a|b|c 匹配a或b或c。如：grep|sed匹配grep或sed () 分组符号，如：love(able|rs)ov+匹配loveable或lovers，匹配一个或多个ov。 x,x{m,},x{m,n} 作用同x\{m\},x\{m,\},x\{m,n\} {n}必须匹配n次{n,}至少匹配n次{n,m}匹配次数在[n,m]之间 |
| 常用示例; | ||||||||||||
| 1.查询多个文件 grep“sort”*.doc在目录下所有doc文件中查sort grep“sort”fileafileb在filea,fileb中查找 2.计算匹配行数 grep–c“test”data.txt 3.显示非匹配行 grep–v“test”data.txt 4.忽略大小写 默认是大小写敏感的，若需要，使用-i进行忽略 grep–i“ignore”data.txt 5.正则表示 grep‘48[34]’data.txt grep‘^[^48]’data.txt开头不是4,8的 grep‘[Ss]ept’data.txt grep‘^[0-9][0-5][0-6]’ grep‘4\{2,\}’data 6.使用“与”“或” 必须使用参数–E[E一定大写] grep–E‘aaa|bbb’data 等价于grep–c“[L|l]et”dream 7.空行及特殊字符 grep‘^$’data grep‘\.’myfile 8.类名： grep允许使用国际字符串模式匹配或匹配模式的类名
9.系统grep命令 ls–l|grep‘^d’ ls–l|grep‘^[^d]’ | ||||||||||||
| 查找内容前后的多少行 | ||||||||||||
| •-ANUM,--after-context=NUM匹配行之后多少行[ahead] •-BNUM,--before-context=NUM匹配行之前多少行[back] •-CNUM，--context=NUM匹配行前后多少行[上下文context] | ||||||||||||
| 处理二进制文件 | ||||||||||||
| Grep查找的是text文件， 如果要查找的是二进制文件，则输出如下结果：Binaryfilefile-namematches •-a,--text使用-a进行二进制文件处理，结果类似文本文件 | ||||||||||||
| 点亮匹配的内容 | ||||||||||||
| 将匹配上的内容加颜色显示出来 --colour[=WHEN],--color[=WHEN]三种WHEN=never,always,auto | ||||||||||||
| 匹配内容的统计与其他 | ||||||||||||
| 将匹配的内容进行记录统计 -c,--count-c，统计匹配行数，-cv统计不匹配行数 -o,--only-matching（只显示匹配的内容） | ||||||||||||
| 查看目录下面的所有文件（包括子目录） | ||||||||||||
| -R,-r,--recursive递归，查询所有子目录 --include=PATTERN只查询该模式文件 --exclude=PATTERN不查询该模式文件 -n,--line-number输出文件名及匹配行号 | ||||||||||||
| 如何匹配以“-”开始的字符 | ||||||||||||
| -ePATTERN,--regexp=PATTERN使用正则 | ||||||||||||
| 在哪些文件中出现 | ||||||||||||
| -h,--no-filename结果中不输出文件名 -L,--files-without-match输出没有匹配上的文件名列表 | ||||||||||||
| 反向匹配 | ||||||||||||
| -v,--invert-match反向，未匹配的行 -mNUM,--max-count=NUM最大匹配次数 |
命令:sort
sort命令可以用来对文件的内容进行排序。sort认为文件的每一行由一个个由空格（可以用-t选项指定其他分隔符）分隔的field组成的。
Sort可将许多不同的域按不同的列顺序分类
sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出
| 格式： |
| sort–cmu–oout-putfile[otheroptions]*pos1*pos2input-files |
| 选项： | |
| -c | 测试文件是否已经分类，如果乱序，则输出第一个乱序的行的相关信息，最后返回1.若非乱序，无输出，返回0 |
| -m | 合并两个分类文件 |
| -u | 删除所有重复行 |
| -o | 存储sort结果的输出文件名 【sort默认是把结果输出到标准输出，所以需要用重定向才能将结果写入文件，但是如果你想把排序结果输出到原文件中，用重定向不可使用.-o就可以解决这个问题】 |
| -t | 域分隔符；默认空格，tab，可定义 用-t选项指定关键字。 它的格式是POS1[,POS2] POS1指定关键字开始的列，POS2指定关键字结束的列，如果没有POS2，则从POS1到行末都是关键字。 其中POS的格式是F[.C][OPTS],F[.C][OPTS]。F指定第几个field（从1开始数）,C指定这个field里的第几个字符（也是从1开始数）。 |
| -b | 使用域进行分类时，忽略首个空格【会忽略每一行前面的所有空白部分，从第一个可见字符开始比较】 |
| -n | 指定分类是域上数字分类【默认使用字符排序的，若是要数字，使用-n】 |
| -r | 对分类次序或比较求逆【默认是升序】 |
| –kn | 按照第n个域进行排序 【sort[-tdelimiter][+filed[column]][option]】 【常用组合–t‘分隔符’-kn】 -k选项的语法格式，如下： [FStart[.CStart]][Modifier][,[FEnd[.CEnd]][Modifier]] 逗号（“，”）分为Start部分和End部分 如果不设定End部分，那么就认为End被设定为行尾 Modifier部分类似n和r的选项部分。 FStart.CStart，其中FStart就是表示使用的域，而CStart则表示在FStart域中从第几个字符开始算“排序首字符”,CStart可以省略的，省略的话就表示从本域的开头部分开始。 同理，在End部分中，你可以设定FEnd.CEnd，如果你省略.CEnd，则表示结尾到“域尾”，即本域的最后一个字符。或者，如果你将CEnd设定为0(零)，也是表示结尾到“域尾”。 |
| 常用示例: |
| 1.保存输出 $sort–oresultsortfile $sortsortfile>result Sort的启动方式，sort认为一空格/多空格为分隔符，要加入其他的，必须使用-t，执行时，先查看-t,若是有，使用其进行分割，若是无，使用空格 2.查看文件是否已排序 $sort–csortfile 若未排序，输出信息$?=1 若已排序，无信息输出$?=0 3.使用其他分隔符 $sort–t:sortfile 4.排完序后求逆 $sort–t:-rsortfile 5.唯一分类，原文件中重复行去除 $sort–usortfile 6.指定分类域，1开始 $sort–t:-k4sortfile【第四个域开始】 $sort–t:-k4–k1sortfile 【sort分隔符+-k指定列完成根据某列进行排序】 7.指定sort序列 $sort+0-2+3sortfile 8.将两个分类文件合并 $sort–msorted-file1sorted_file2 【将两个已排序文件整合，类似合并排序的后半部分】 具体示例： 9.对以下文件进行排序 1536 3145 2224 1143 sort-k1.1,1.2sort.test 指定了按开始的两列进行排序，即比较"15","31","22","11"来排序 结果: 1143 1536 2224 3145 sort-k1.3,2.1sort.test 指定了通过比较"36","45","24","43"（注意其中的空格）来排序 结果： 2224 1536 1143 3145 sort-k1.3,1.3sort.test 指定只按第3列来排序，则因为第2和第4行都是"4"，它们相同，则会再比较一下整行 [如果关键字相同，则sort会把整行再比较一次] 2224 1536 1143 3145 |
| 功能 |
| 查找特定字符串的文件或目录 |
| 格式 |
| find[pathName][options][tests][actions] |
| pathname:路径，当前为.用户根目录为~系统根目录/ options：命令选项见列表 test一些针对属性的测试 actions[-print-exec-ok] -print:将匹配文件输出到标准输出 -execcommand:对匹配文件执行参数所给的shell命令，这个动作必须使用\;字符对结尾 -okcommand:同上，但存在询问选择 -ls：对当前文件使用ls-dils |
| 主要选项： | |
| -namepattern | 按文件名查找，不包含路径名，提供匹配模式pattern,pattern必须总是用引号括起 |
| -perm权限数值 | 按文件权限查找 |
| -userusername | 按文件属主查找find–userken |
| -nouser | 搜索不属于本机用户的文件 |
| -group组名 | 按文件所属的组查找 |
| -nogroup | 搜索不属于本机组的文件 |
| -type | 按文件类型查找b块设备，p管道，d目录，l符号链接 C字符设备，f普通文件 |
| --sizen[c] | 查文件长度为n的文件，c表以字符计，默认以块计算 |
| -depth | 查找时，首先在当前目录，之后再其子目录 |
| -maxdepthN | 最多搜索N层目录 |
| -prune | 使find不在当前指定的目录中查找，若使用-depth，本选项忽略 |
| -atimen | 文件在n天之前被最后访问过 |
| -amin-n | |
| -mtime–n+n | 按文件更改时间查找–nn天内，+nn天前 |
| -mmin-n | 查找在系统中最后n分钟里修改过的文件 |
| -newerfile1!file2 | 查找更改时间比file1新比file2旧的文件 |
| -mount或-xdev | 查找文件时不跨越文件系统，不搜索其他文件系统中的目录 |
| -fstype | 查找位于某一类型文件系统中的文件，文件系统类型可在/etc/fstab中找到 |
| -follow | 跟随符号链接 |
| -cpio | 对匹配文件使用cpio命令备份到磁带设备文件中 |
| -empty | 查找在系统中为空的文件或者文件夹 |
| 常用示例： |
| 1．按文件名 find.–name“myfile”–print find~-name“[A-Z]*”–print【使用了正则】 find.–name“*”-print 2．按权限数值查找 find.–perm755-print 3．按文件属主或属组 find.–userken–print find.–groupmygroup-print 4．按时间范围查找 find/-mtime-5–print【5天内的文件，内部计算其实精确到秒，从现在往前五天】 5．按文件类型查找 find~-typef–print【普通文件】 6．查找比某个文件新或旧的文件 技巧：可通过touch–t05042121locateFile创建时间坐标文件 find.–newerfile1!–newerfile2–print[比file1新，比file2旧] 【使用-exec执行查看找到的文件列表详情】 find.–newerfile1!–newerfile2–execls–l{}\;【注意分号和反斜杠间无空格】 7．根据文件大小 默认单位以block，加c表字节 find.–size+1000c–print【大于1000字节，若改为-300c，表小于300字节】 8．在当前文件系统查找，不进入其他文件系统 find.–name“*.xc”–mount-print 9．使用-exec或–f来执行shell命令 find.–typef–execls–l{}\; find.–typef–mtime+5–execrm{}\; find.–typef–mtime+5–okrm{}\; 二者区别是exec直接执行，ok还进行询问【注意反斜扛和大括号之间的空格】 |
| Uniq |
| 从文本文件中去除或禁止重复行，一般uniq假定文件已分类排序，并且结果正确[sort–u唯一性选项去除所有的重复行] Uniq中重复行指持续不断重复出现的行 |
| 格式: |
| uniq–udc–finput-fileoutput-file |
| 选项： |
| -u只显示不重复行unique,唯一 -d只显示有重复的行，每种重复显示一行 -I忽略大小写??? -c打印每一重复行出现的次数【计数】 -fn为数字，前n个域被忽略 |
| 常用示例 |
| 1.只显示非重复行 $uniq–usortfile 2.提取非重复行到某个文件 $uniq–usortfileresult 3.只显示重复行 $uniq–dsortfile 4.打印重复行及其出现的次数 $uniq–csortfile 5.忽略比较指定列 $uniq–f2parts.txt 6.对文本文件做交集，并集&差集 catfileafileb|sort|uniq>filec#并集 catfileafileb|sort|uniq–d>filec#交集 catfileafileb|sort|uniq–u>filec#仅存在于filea或仅存在于fileb的 |
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Linux新手生存笔记[6]——重点命令3-grep&sort&find&uniq
- Linux命令 grep&sort&find&uniq 总结
- 第6课重点命令3-grep&sort&find&uniq
- Linux新手生存笔记[7]——重点命令4-tr&join&cut&paste&split
- 重点命令3-grep&sort&find&uniq
- Linux新手生存笔记[7]——重点命令4-tr&join&cut&paste&split
- Linux新手生存笔记[4]——重点命令1-awk
- Linux新手生存笔记[5]——重点命令2-sed
- Linux新手生存笔记[12]——rpm&yum命令
- Linux新手生存笔记[12]——rpm&yum命令
- Linux新手生存笔记[5]——重点命令2-sed
- Linux新手生存笔记[12]——rpm&yum命令
- 常用文本过滤命令笔记(find grep wc awk sed sort uniq split)
- Linux新手生存笔记[4]——重点命令1-awk
- Linux新手生存笔记[13]——SVN命令总结
- Linux新手生存笔记[3]——Linux常用命令(1)
- Linux新手生存笔记[13]——SVN命令总结
- Linux新手生存笔记[3]——Linux常用命令(2)
- Linux新手生存笔记[3]——Linux常用命令(2)
- Linux管线命令 - cut,grep,sort,uniq,wc,tee,tr,col,join,paste,expand,split,xargs