Python做文本按行去重的实现方法
2016-10-19 00:00
796 查看
文本:
每行在promotion后面包含一些数字,如果这些数字是相同的,则认为是相同的行,对于相同的行,只保留一行。
思路:
根据字典和字符串切割。
建立一个空字典。
读入文本,并对每行切割前半部分,在读入文本的过程中循环在这个字典中查找,如果没找到,则写入该行到字典。否则,则表示该行已经被写入过字典了(即出现重复的行了),不再写入字典,这就实现了对于重复的行只保留一行的目的。
文本如下:
程序如下:
上面这个程序执行效率比较低,改成如下会提高一些:
以上所述是小编给大家介绍的Python做文本按行去重,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!
Python标准库内置函数complex介绍
windows下ipython的安装与使用详解
Python首次安装后运行报错(0xc000007b)的解决方法
python类中super()和__init__()的区别
Python 序列的方法总结
python 异常处理总结
python 队列详解及实例代码
python中os模块详解
Python 内置函数complex详解
每行在promotion后面包含一些数字,如果这些数字是相同的,则认为是相同的行,对于相同的行,只保留一行。
思路:
根据字典和字符串切割。
建立一个空字典。
读入文本,并对每行切割前半部分,在读入文本的过程中循环在这个字典中查找,如果没找到,则写入该行到字典。否则,则表示该行已经被写入过字典了(即出现重复的行了),不再写入字典,这就实现了对于重复的行只保留一行的目的。
文本如下:
/promotion/232 utm_source /promotion/237 LandingPage/borrowExtend/? ; /promotion/25113 LandingPage/mhd /promotion/25113 LandingPage/mhd /promotion/25199 com/LandingPage /promotion/254 LandingPage/mhd/mhd4/? ; /promotion/259 LandingPage/ydy/? ; /promotion/25113 LandingPage/mhd /promotion/25199 com/LandingPage /promotion/25199 com/LandingPage
程序如下:
line_dict_uniq = dict() with open('1.txt','r') as fd: for line in fd: key = line.split(' ')[0] if key not in line_dict_uniq.values(): line_dict_uniq[key] = line else: continue print line_dict_uniq print len(line_dict_uniq) # 这里是打印了不重复的行(重复的只打印一次),实际再把这个结果写入文件就可以了, # 就不写这段写入文件的代码了
上面这个程序执行效率比较低,改成如下会提高一些:
line_dict_uniq = dict() with open('1.txt','r') as fd: for line in fd: key = line.split(' ')[0] if key not in line_dict_uniq.keys(): line_dict_uniq[key] = line else: continue print line_dict_uniq print len(line_dict_uniq)
以上所述是小编给大家介绍的Python做文本按行去重,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!
您可能感兴趣的文章:
浅谈python 四种数值类型(int,long,float,complex)Python标准库内置函数complex介绍
windows下ipython的安装与使用详解
Python首次安装后运行报错(0xc000007b)的解决方法
python类中super()和__init__()的区别
Python 序列的方法总结
python 异常处理总结
python 队列详解及实例代码
python中os模块详解
Python 内置函数complex详解
相关文章推荐
- Python做文本按行去重的实现方法
- python处理文本文件实现生成指定格式文件的方法
- python实现将文本转换成语音的方法
- Python实现简单文本字符串处理的方法
- 基于文本密度的新闻正文抽取方法之Python实现
- python 实现在txt指定行追加文本的方法
- python处理文本文件实现生成指定格式文件的方法
- Python 删除整个文本中的空格,并实现按行显示
- python处理文本文件实现生成指定格式文件的方法
- Python下载网络文本数据到本地内存的四种实现方法示例
- python实现将文本转换成语音的方法
- Python按行读取文件的实现方法【小文件和大文件读取】
- python实现按行切分文本文件的方法
- python实现将文本转换成语音的方法
- python处理文本文件实现生成指定格式文件的方法
- python实现比较两段文本不同之处的方法
- Python按行读取文件的简单实现方法
- Python按行读取文件的实现方法【小文件和大文件读取】
- Python文本处理之按行处理大文件的方法
- Python实现将文本生成二维码的方法示例