Python BeautifulSoup中文乱码问题的2种解决方法
2016-07-26 23:23
816 查看
解决方法一:
使用python的BeautifulSoup来抓取网页然后输出网页标题,但是输出的总是乱码,找了好久找到解决办法,下面分享给大家
首先是代码
[python] view plain copy
from bs4 import BeautifulSoup
import urllib2
url = 'http://www.jb51.net/'
page = urllib2.urlopen(url)
soup = BeautifulSoup(page,from_encoding="utf8")
print soup.original_encoding
print (soup.title).encode('gb18030')
file = open("title.txt","w")
file.write(str(soup.title))
file.close()
for link in soup.find_all('a'):
print link['href']
在刚开始测试的时候发现,虽然输出是乱码的,但是写在文件里面却是正常的.然后在网上找了找解决办法才发现
print一个对象的逻辑:内部是调用对象的__str__得到对应的字符串的,此处对应的是soup的__str__ 而针对于soup本身,其实已经是Unicode编码,所以可以通过指定__str__输出时的编码为GBK,以使得此处正确显示非乱码的中文
而对于cmd:(中文的系统中)编码为GBK,所以只要重新编码为gb18030就可以正常输出了
就是下面这行代码
[python] view plain copy
print (soup.title).encode('gb18030')
解决方法二:
BeautifulSoup在解析utf-8编码的网页时,如果不指定fromEncoding或者将fromEncoding指定为utf-8会出现中文乱码的现象。
解决此问题的方法是将Beautifulsoup构造函数中的fromEncoding参数的值指定为:gb18030
[python] view plain copy
import urllib2
from BeautifulSoup import BeautifulSoup
page = urllib2.urlopen('http://www.jb51.net/');
soup = BeautifulSoup(page,fromEncoding="gb18030")
print soup.originalEncoding
print soup.prettify()
使用python的BeautifulSoup来抓取网页然后输出网页标题,但是输出的总是乱码,找了好久找到解决办法,下面分享给大家
首先是代码
[python] view plain copy
from bs4 import BeautifulSoup
import urllib2
url = 'http://www.jb51.net/'
page = urllib2.urlopen(url)
soup = BeautifulSoup(page,from_encoding="utf8")
print soup.original_encoding
print (soup.title).encode('gb18030')
file = open("title.txt","w")
file.write(str(soup.title))
file.close()
for link in soup.find_all('a'):
print link['href']
在刚开始测试的时候发现,虽然输出是乱码的,但是写在文件里面却是正常的.然后在网上找了找解决办法才发现
print一个对象的逻辑:内部是调用对象的__str__得到对应的字符串的,此处对应的是soup的__str__ 而针对于soup本身,其实已经是Unicode编码,所以可以通过指定__str__输出时的编码为GBK,以使得此处正确显示非乱码的中文
而对于cmd:(中文的系统中)编码为GBK,所以只要重新编码为gb18030就可以正常输出了
就是下面这行代码
[python] view plain copy
print (soup.title).encode('gb18030')
解决方法二:
BeautifulSoup在解析utf-8编码的网页时,如果不指定fromEncoding或者将fromEncoding指定为utf-8会出现中文乱码的现象。
解决此问题的方法是将Beautifulsoup构造函数中的fromEncoding参数的值指定为:gb18030
[python] view plain copy
import urllib2
from BeautifulSoup import BeautifulSoup
page = urllib2.urlopen('http://www.jb51.net/');
soup = BeautifulSoup(page,fromEncoding="gb18030")
print soup.originalEncoding
print soup.prettify()
相关文章推荐
- python下载漫画
- python flask request params
- python
- python 学习(十一)之字符串2
- python 学习(十) 之字符串 1
- Ubuntu16.04安装后开发环境配置和常用软件安装
- install pip3 for python 3.x
- python 学习(九) 之 continue语句
- Python 'ascii' codec can't encode character : ordinal not in range 问题解决
- 7. Reverse Integer [easy] (Python)
- python 学习(八)之 break 语句
- Python入门笔记(4)_ 控制流:条件判断和循环语句
- python简单爬虫爬取队列的实现
- python抓取知乎首页文本信息的简单实现
- 6. ZigZag Conversion [easy] (Python)
- Python 第十课,面向对象补足,异常处理
- Python 第九课,面向对象进阶
- 【Python】map、filter、reduce函数简介
- Python 培训之MySql
- python循环与判断