您的位置:首页 > 理论基础 > 计算机网络

python3.4学习笔记(十七) 网络爬虫使用Beautifulsoup4抓取内容

2015-07-07 16:08 891 查看
python3.4学习笔记(十七) 网络爬虫使用Beautifulsoup4抓取内容

Beautiful Soup 是用Python写的一个HTML/XML的解析器,它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航(navigating),搜索以及修改剖析树的操作。它可以大大节省你的编程时间。

Beautiful Soup Documentation — Beautiful Soup 4.4.0 documentation
http://www.crummy.com/software/BeautifulSoup/bs4/doc/

[学习]用python的BeautifulSoup分析html - 三夜灯 - 博客园
http://www.cnblogs.com/twinsclover/archive/2012/04/26/2471704.html

Beautiful3 Soup documentation 中文文档只有bs3的,最新的只有英文版的
http://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html#Quick%20Start

热血狂徒 / zyspider - 代码托管 - 开源中国社区
http://git.oschina.net/coos/zyspider

python3.4学习笔记(十三) 网络爬虫实例代码,使用pyspider抓取多牛投资吧里面的文章信息,抓取政府网新闻内容 - 流风,飘然的风 - 博客园
/article/4832042.html

============================================
BeautifulSoup4的安装

一、使用pip直接安装beautifulsoup4 (如何安装pip请看上一篇文章介绍)

F:\kanbox\pythoncode\zyspider>pip install beautifulsoup4
Collecting beautifulsoup4
Downloading beautifulsoup4-4.4.0-py3-none-any.whl (80kB)
328kB/s
Installing collected packages: beautifulsoup4
Successfully installed beautifulsoup4-4.4.0

F:\kanbox\pythoncode\zyspider>

或者从官网下载Beautifulsoup的软件包,然后解压,cmd命令行进入解压包目录,输入以下命令安装:python setup.py install

=======================================
网络爬虫实例代码,抓取新浪爱彩双色球开奖数据实例代码:

__author__ = 'zdz8207'
from bs4 import BeautifulSoup

import urllib.request
import urllib.parse
import re
import urllib.request, urllib.parse, http.cookiejar

def getHtml(url):
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
opener.addheaders = [('User-Agent',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'),
('Cookie', '4564564564564564565646540')]

urllib.request.install_opener(opener)

html_bytes = urllib.request.urlopen(url).read()
html_string = html_bytes.decode('utf-8')
return html_string

html_doc = getHtml("http://zst.aicai.com/ssq/openInfo/")
soup = BeautifulSoup(html_doc, 'html.parser')

# print(soup.title)
#table = soup.find_all('table', class_='fzTab')
#print(table)#<tr onmouseout="this.style.background=''" 这种tr丢失了
#soup.strip() 加了strip后经常出现find_all('tr') 只返回第一个tr

tr = soup.find('tr',attrs={"onmouseout": "this.style.background=''"})  #print(tr)  tds = tr.find_all('td')  opennum = tds[0].get_text()  #print(opennum)   reds = []  for i in range(2,8):  reds.append(tds[i].get_text())  #print(reds)  blue = tds[8].get_text()  #print(blue)   #把list转换为字符串:(',').join(list)  #最终输出结果格式如:2015075期开奖号码:6,11,13,19,21,32, 蓝球:4  print(opennum+'期开奖号码:'+ (',').join(reds)+", 蓝球:"+blue)


python3.4学习笔记(十四) 网络爬虫实例代码,抓取新浪爱彩双色球开奖数据实例 - 流风,飘然的风 - 博客园
/article/4832043.html

从上实例可以看出使用BeautifulSoup4对比直接使用字符串查找截取的方式要更加直观和简洁。

=======================================

Python2.7 安装 beautifulsoup4-4.4.0 下载地址:http://www.crummy.com/software/BeautifulSoup/bs4/download/4.4/
安装方法:cmd, cd进入beautifulsoup的 setup.py 所在的那个目录(如: D:\download\beautifulsoup4-4.4.0),然后运行
python setup.py build
python setup.py install
版本升级到4,引入包要用
import bs4
from bs4 import BeautifulSoup
不能直接用
from BeautifulSoup import BeautifulSoup

python3.4中可以直接使用from bs4 import BeautifulSoup

注:在同一台电脑上安装2.7和3.4的会导致使用pip命令在2.7情况下安装不了Beautifulsoup4

=======================================
导入模块
#!/usr/bin/env python
from bs4 import BeautifulSoup #process html
#from bs4 import BeautifulStoneSoup #process xml
#import BeautifulSoup #all

创建对象:str初始化,常用urllib2或browser返回的html初始化BeautifulSoup对象。
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story"><a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
soup = BeautifulSoup(html_doc)

soup 就是BeautifulSoup处理格式化后的字符串,soup.title 得到的是title标签,soup.p 得到的是文档中的第一个p标签,要想得到所有标签,得用find_all

函数。find_all 函数返回的是一个序列,可以对它进行循环,依次得到想到的东西.

get_text() 是返回文本,这个对每一个BeautifulSoup处理后的对象得到的标签都是生效的。你可以试试 print soup.p.get_text()

其实是可以获得标签的其他属性的,比如我要获得a标签的href属性的值,可以使用 print soup.a['href'],类似的其他属性,比如class也是可以这么得到的(soup.a['class'])。

特别的,一些特殊的标签,比如head标签,是可以通过soup.head 得到,其实前面也已经说了。

如何获得标签的内容数组?使用contents 属性就可以 比如使用 print soup.head.contents,就获得了head下的所有子孩子,以列表的形式返回结果,

可以使用 [num] 的形式获得 ,获得标签,使用.name 就可以。

获取标签的孩子,也可以使用children,但是不能print soup.head.children 没有返回列表,返回的是 <listiterator object at 0x108e6d150>,

不过使用list可以将其转化为列表。当然可以使用for 语句遍历里面的孩子。

关于string属性,如果超过一个标签的话,那么就会返回None,否则就返回具体的字符串print soup.title.string 就返回了 The Dormouse's story

超过一个标签的话,可以试用strings

向上查找可以用parent函数,如果查找所有的,那么可以使用parents函数

查找下一个兄弟使用next_sibling,查找上一个兄弟节点使用previous_sibling,如果是查找所有的,那么在对应的函数后面加s就可以

如何遍历树?

 使用find_all 函数

find_all(name, attrs, recursive, text, limit, **kwargs)

举例说明:

print soup.find_all('title')
print soup.find_all('p','title')
print soup.find_all('a')
print soup.find_all(id="link2")
print soup.find_all(id=True)

返回值为:

[<title>The Dormouse's story</title>]
[<p class="title"><b>The Dormouse's story</b></p>]
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
[<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

通过css查找,直接上例子把:

print soup.find_all("a", class_="sister")
print soup.select("p.title")

通过属性进行查找
print soup.find_all("a", attrs={"class": "sister"})

通过文本进行查找
print soup.find_all(text="Elsie")
print soup.find_all(text=["Tillie", "Elsie", "Lacie"])

限制结果个数
print soup.find_all("a", limit=2)

结果为:

[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
[<p class="title"><b>The Dormouse's story</b></p>]
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
[u'Elsie']
[u'Elsie', u'Lacie', u'Tillie']
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

总之,通过这些函数可以查找到想要的东西。

=================================================

最简单的爬虫,在Python3中,urllib库可以独立完成这些工作。下面是直接在python控制台上输入的代码最简单的爬虫,可以获取到原始字节及解码后的文本。

>>> import urllib.request as request
>>> url = 'http://www.baidu.com'
>>> origin_bytes = request.urlopen( url ).read()
>>> origin_string = origin_bytes.decode( 'utf-8' )
>>> print(origin_string)

其中origin_bytes现在得到了传输过来的原始字节,而origin_string则是将这些原始字节以UTF-8编码方式解码出来的原始字符串。
然后我们就可以使用各种HTML解析工具或单纯地用文本解析工具来获取需要的数据。

使用headers伪装成浏览器进行访问
有的网站比如说http://www.oschina.net,如果用上面那种方法来访问,则会返回403拒绝访问的错误信息。这是因为有部分网站禁止除浏览器之外的方法进行访问。
需要在发送请求的时候加入headers信息,伪装成浏览器,这样就不会出现403的错误了。抓取频繁时还需要变化head信息和采用代理IP的方式。
下面是一个最简单的使用headers的例子。

>>> import urllib.request as request
>>> url = 'http://www.oschina.net'
>>> headers = ('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11')
>>> opener = request.build_opener()
>>> opener.addheaders = [ headers ]
>>> origin_bytes = opener.open( url ).read()
>>> origin_string = origin_bytes.decode( 'utf-8' )

其中headers可以从浏览器的调试工具中看到,比如firefox中的firebug,可以复制curl内容进行分析。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: