linux文件去重
2016-02-19 15:59
381 查看
第一:两个文件的交集,并集
前提条件:两个文件不得有重复的行(即两个文件都要去重)
1. 取出两个文件的并集 cat file1 file2 | sort | uniq >file3
2. 取出两个文件的交集 cat file1 file2 | sort | uniq -d >file3
3. 删除交集 cat file1 file2 | sort |uniq -u <file3
第二:两个文件合并
1. 一个在上一个在下 cat file1 files2 >file3
2. 一个在左一个在右 paste file1 file2 >file3
3. cat file1 >> file2
第三:一个文件去掉重复行
1. sort file | uniq 把重复的行合并为一行
2. sort file | uniq -u 把重复的行删除,仅保留非重复的行
前提条件:两个文件不得有重复的行(即两个文件都要去重)
1. 取出两个文件的并集 cat file1 file2 | sort | uniq >file3
2. 取出两个文件的交集 cat file1 file2 | sort | uniq -d >file3
3. 删除交集 cat file1 file2 | sort |uniq -u <file3
第二:两个文件合并
1. 一个在上一个在下 cat file1 files2 >file3
2. 一个在左一个在右 paste file1 file2 >file3
3. cat file1 >> file2
第三:一个文件去掉重复行
1. sort file | uniq 把重复的行合并为一行
2. sort file | uniq -u 把重复的行删除,仅保留非重复的行
相关文章推荐
- linux 下实用的命令
- Linux禁止root账户远程登录
- linux笔记_文件搜索命令
- Linux定时任务Crontab详解
- 自己平时用到的linux命令
- linux C gbk utf-8编码转换
- linux内嵌汇编语言
- 在CentOS_RHEL 6上安装Metasploit的框架
- Linux 查看进程
- linux获取外网ip
- linux vi编辑常用命令
- Linux TLS - pthread_setspcific
- linux日志:syslogd和klogd
- 【小镇的技术之路】Linux中的文件描述符
- linux新加动态库后,使用中遇到的找不到的问题以及ldconfig讲解
- Linux下命令行显示当前全路径方法
- Linux 新建用户、用户组,给用户分配权限(chown、useradd、groupadd、userdel、usermod、passwd、groupdel)
- Centos 6.5 freeswitch 编译mod_shout
- CentOS6.4 配置iptables
- 如何查看已安装的CentOS版本信息