python替换UTF-8编码文本中任意特殊字符,包括中文符号问题:大量文本,将其中的特殊字符用空
2014-12-17 01:04
911 查看
python替换UTF-8编码文本中任意特殊字符,包括中文符号问题:大量文本,将其中的特殊字符用空
python替换UTF-8编码文本中任意特殊字符,包括中文符号
问题:大量文本,将其中的特殊字符用空格替换,特殊字符如:◆★,日期[1990-11-23]等。
这些文本有如下特点:
1.文件名以中文命名
2.经测试,文件编码为UTF-8
先看程序:
# -*- coding: utf-8 -*- import re import chardet import os def dowork(dirname): txt_filenames = os.listdir(dirname) #需要替换的字符正则表达式:◆★[1990-2-30],这是核心 pat = r"(\xe2\x98\x85|\xe2\x97\x86)|(\[\d+-\d+-\d+\])" repat = re.compile(pat) i = 0 for filename in txt_filenames:
#选出正确的文件类型 if filename.find('.txt') == -1: continue #判断文件本身的类型是不是UTF-8 f = open(filename, 'r') print 'open ' + filename line = f.readline() enc = chardet.detect(line) #保存文件类型 fileencode = enc['encoding'] print enc f.close() #wname是新文件的名称 wname = './src/' +
filename.split('.')[0] + str(2) + '.txt' f = open(wname, 'w') print 'the file of writing is ', wname #开始将替换后的字符串写入文件 for line in open(filename, 'r'): #用空格替换特殊字符 wline = repat.sub(' ', line) f.write(wline) f.close() if __name__ == '__main__': dirname = r'C:\\Users\\hw\\Desktop\\qiaofangjie\\TraditionalCorpus'
dowork(dirname)
在实际解决问题中,遇到了几个难点:
1.关于任意字符,如何利用正则表达式替换
2.python的文件编码,搞得我头晕了,现在也不算很明白
收获有以下几点:
1.python源文件默认编码为ascii码,如果里面有中文,在文件头加# -*- coding: utf-8 -*-,就可以写中文了
2.关于替换:
英文字符找相应的正则表达式即可;中文字符是难点,可以将中文字符的utf-8编码写到模式匹配中,配合正则表达式即可使用。中文字符的utf-8编码可以用repr表达式输出
3.文件由于比较大,用readlines读取文件较慢,采用文件迭代器读文件,应该是一次读一行的(还不是很清楚,以后再试试)
4.在自己测试的小例子中,filename="中文文件.txt",直接读会出错,转为unicode编码就可以了,即filename=u"中文文件.txt"
5.用chardet模块,可以判定文件的编码方式。只是我这里没有用到,只是看了一下编码是不是utf-8的
6.关于encode与decode,utf-8可以通过decode转为unicode,如strutf-8.decode('utf-8')返回unicode对象;unicode通过encode编码为具体的格式如utf-8,gbk等,如
strunicode.encode('utf-8')
先写这么多,加班很苦逼
相关文章推荐
- python替换UTF-8编码文本中任意特殊字符,包括中文符号
- UTF-8编码的特殊字符,在GBK下显示?的问题
- python利用utf-8编码判断中文英文字符(转)
- python 替换数据库中文本中特殊字符
- python利用utf-8编码判断中文英文字符
- smarty截取中文字符乱码问题的解决支持utf-8编码
- python 处理中文遇到的编码问题总结 以及 字符str的编码如何判断
- Python2.7 中文字符编码 & Pycharm utf-8设置、Unicode与utf-8的区别
- Mac电脑使用:解决Mac上“文本编码Unicode(UTF-8)不适用”、文本编码“中文 (GB 18030)不适用“的问题
- python中文的编码问题(使用decode('gbk').encode('utf-8')和decode('utf-8').encode('gbk'))
- iOS 中的 url 中文和特殊字符编码问题
- python(40):利用utf-8编码判断中文英文字符
- 关于utf-8编码的ajax中url传中文及特殊符号乱码的实际可用处理办法
- [Python] 中文编码问题:raw_input输入、文件读取、变量比较等str、unicode、utf-8转换问题
- Python字符串编码+MySQLdb中的中文字符问题
- python 处理中文文件时的编码问题,尤其是utf-8和gbk
- 解决replaceAll替换字符串中包括特殊符号时出现的问题
- [转]Python正则表达式中匹配GBK/UTF-8编码中文字符_绝冬之地_百度空间
- Python MySQLdb 使用utf-8 编码插入中文数据问题
- python利用utf-8编码判断中文英文字符(转)