python chardet
2015-08-13 09:19
274 查看
python 模块 chardet下载及介绍
在处理字符串时,常常会遇到不知道字符串是何种编码,如果不知道字符串的编码就不能将字符串转换成需要的编码。面对多种不同编码的输入方式,是否会有一种有效的编码方式?chardet是一个非常优秀的编码识别模块。chardet 是python的第三方库,需要下载和安装。下载的地址有:
1.推荐地址: http://download.csdn.net/download/aqwd2008/4256178
2.官方地址:
http://pypi.python.org/pypi/chardet
如果采用源代码安装方法,有可能会提示缺少setuptools这个模块。因此这里我们采用另外一种更为方便的安装方法,不论你选择哪种安装包,将它解压得到其中的文件夹【chardet】将这个文件夹复制到【python安装根目录\Lib\site-packages】下,确保这个位置可以被python引用到。如果不能被引用到请加入环境变量。
在安装完chardet模块,我就可以使用它了,来看一段示例代码。
[python] view
plaincopy
import chardet
import urllib
#可根据需要,选择不同的数据
TestData = urllib.urlopen('http://www.baidu.com/').read()
print chardet.detect(TestData)
运行结果:
{'confidence': 0.99, 'encoding': 'GB2312'}
运行结果表示有99%的概率认为这段代码是GB2312编码方式。
另外一个相对高级的应用。
[python] view
plaincopy
import urllib
from chardet.universaldetector import UniversalDetector
usock = urllib.urlopen('http://www.baidu.com/')
#创建一个检测对象
detector = UniversalDetector()
for line in usock.readlines():
#分块进行测试,直到达到阈值
detector.feed(line)
if detector.done: break
#关闭检测对象
detector.close()
usock.close()
#输出检测结果
print detector.result
运行结果:
{'confidence': 0.99, 'encoding': 'GB2312'}
应用背景,如果要对一个大文件进行编码识别,使用这种高级的方法,可以只读一部,去判别编码方式从而提高检测速度。
来自:http://blog.csdn.net/aqwd2008/article/details/7506007
相关文章推荐
- python字符编码
- Python 之 cPickle 实现 文件存取
- 在Python中使用正则表达式的方法
- 零基础学python-2.16 列表解析
- 零基础学python-2.16 列表解析
- 零基础学python-2.15 回到我们的游戏 加入for以及列表
- 零基础学python-2.15 回到我们的游戏 加入for以及列表
- 零基础学python-2.14 for循环语句
- 零基础学python-2.14 for循环语句
- 零基础学python-在3.x版本之后的print()不换行
- 零基础学python-在3.x版本之后的print()不换行
- 在java中调用python方法
- 【整理】详解Python中re.sub
- python出现Non-ASCII character '\xe7' in file ex6.py on line 1, but no encoding declare错误
- python画箱线图
- 在Python中使用正则表达式的方法
- PythonProject(1)vim的Hustoj插件
- Python入门-编写抓取网站图片的爬虫-正则表达式
- pip的安装,更新,卸载模块以及使用方法 python
- 《笨方法学python》-3