删除重复内容行
2017-01-19 17:51
183 查看
删除重复内容行
由于要处理一个两万多行的数据,但要删除其中内容重复的行,所以找了几个方法:1. 用sed替换重复内容,使用命令 -n "G;s/\n/&&/;/^\(.*\n\).*\n\1/d; s/\n//;h;P"
"$(FilePath)" (这里是在editplus里的使用,注意$(FilePath)必须是带路径的文件名)。当然sed不需依赖editplus,可以单独使用的。优点:删除重复内容后,顺序结构不变。缺点:不支持UTF-8,处理大文件时(2w多行)就不行了。
2.使用editplus-工具-排序,勾选"删除重复"。可惜不想把内容排序,却被自动排序了。(勾选"区分位置",好像没用?),这个效率相当快~差不多是瞬间完成的,之所以没放弃editplus,确实它的优点有很多。
3.使用一个批处理
@echo off :: 删除重复的行,但不能保留空行 :: 对不符合变量命名规则、变量个数超过限制的文本都无法正确处理 (echo 清除重复行后的文件内容:& echo.)>str_.txt for /f "delims=" %%i in (testText.txt) do ( if not defined %%i set %%i=A & echo %%i>>str_.txt) :: start str_.txt
当然也不支持utf8,效率也比较慢,处理2w多行用了1分多钟,不过排序没有改变:)。
相关文章推荐
- 解决syszuxpinyin重复点击lineEdit无法弹出输入法界面和无法删除原有内容问题
- 解决syszuxpinyin重复点击lineEdit无法弹出输入法界面和无法删除原有内容问题
- 使用python读取txt文件的内容,并删除重复的行数方法
- SQL查询和删除重复字段的内容
- SQL查询和删除重复字段的内容
- 利用hashtable删除文本重复内容
- 使用python读取txt文件的内容,并删除重复的行数
- 删除文本中内容重复的行的批处理
- sql server 中删除内容重复的某条记录
- 【Shell】删除文档中重复内容
- mysql 删除数据库title重复内容
- mysql删除重复记录语句的方法 作者: 字体:[增加 减小] 类型:转载 时间:2010-06-21 我要评论 查询及删除重复记录的SQL语句,虽然有点乱,但内容还是不错的。 . .
- vector erase 重复删除容器内的指定内容时,使用迭代器(iterator)++的操作应该放到For循环内
- SQL查询和删除重复字段的内容
- linux 下pyhton 删除指定目录下所有的重复内容的文件
- oracle中的rowid--伪列-删除表中的重复内容-实用
- 删除相邻重复的内容
- AngularJS,实现输入框失焦添加内容到最前,当数据重复删除原来并显示在数组最前
- 织梦dedecms 采集的文章重复或内容文章标题重复批量删除的解决方法
- oracle中的rowid--伪列-删除表中的重复内容-实用