Python开发笔记之二——Python网页爬虫与画图

我们经常需要拉一下业务的某一个指标数据汇总给老板看，在我们内部监控平台上，因为系统平台的人没有暴露api给业务层，之前想汇总统计数据基本都是手动一天一天的去采集，每次采集都是一个机械重复蛋疼的过程，这次狠下心来，把这个过程脚本化了。为了防止脚本丢失，特意在这里做个笔记记录一下。

这个过程其实就是简单的两步：数据的采集和画图

1、数据的采集

因为这些数据是按天产生的，数据的URL地址只有日期不一样，如下：

http://######/###/##/####?op=view&query1=2016-12-25;1;30;;;;;;;&query2=&type=delay&device1=&device2=

所以，首先需要爬某一天URL链接的某一字断的数据，这个过程其实就是爬网页的数据，需要线download下来网页的html，然后去取对应的标签下的数据，然后遍历URL数组即可：

def download(url, num_retries=2):
print 'Downloading:', url
try:
html = urllib2.urlopen(url).read()
except urllib2.URLError as e:
print 'Downloading error:', e.reason
html = None
if num_retries > 0:
if hasattr(e, 'code') and 500 <= e.code < 600:
return download(url, num_retries -1)
return html

def urlDataSource():
urlArray = []
for i in range(1, 31):
url = 'http://######/###/##/####?op=view&query1=2016-12-%s;1;30;;;;;;;&query2=&type=delay&device1=&device2='%(i)
urlArray.append(url)
return urlArray

def arr1DataSource(urlArr):
array1 = []
for url in urlArr:
html = download(url)
str = BeautifulSoup(html,"html.parser")
str1 = str.find_all('tbody')
for i in str1:
href = i.find_all('td')
count = 0
for j in href:
count = count + 1
if (count == 4):
print j.text
array1.append(int(j.text.replace(',','')))
return array1

2、画图

这个过程需要你去安装matplotlib相关的库，具体可以去matplotlib官网找下安装教程，实现如下：

首先需要构建一个X轴的坐标数组，使用draw()直接画即可，如下：

def xDataSource(begin, end):
array3 = []
for i in range(begin, end):
array3.append(i)
return array3

def draw(x, y):
plt.figure(figsize=(10,4)) #创建绘图对象
plt.plot(x, y, 'b*')
plt.plot(x, y, 'b')
plt.xlabel("Date(December)") #X轴标签
plt.ylabel("Ratio(%)")  #Y轴标签
plt.show()

3、效果图



如果需要出不同风格的图，只需要设置plt.figure()即可。

4、完整的代码

#!/usr/bin/env python
#coding:utf-8
import urllib2
import re
import numpy as np
import matplotlib.pyplot as plt
from bs4 import BeautifulSoup

def download(url, num_retries=2):
print 'Downloading:', url
try:
html = urllib2.urlopen(url).read()
except urllib2.URLError as e:
print 'Downloading error:', e.reason
html = None
if num_retries > 0:
if hasattr(e, 'code') and 500 <= e.code < 600:
return download(url, num_retries -1)
return html

def urlDataSource():
urlArray = []
for i in range(1, 31):
url = 'http://######/###/##/####?op=view&query1=2016-12-%s;1;30;;;;;;;&query2=&type=delay&device1=&device2='%(i)
urlArray.append(url)
return urlArray

def arrDataSource(urlArr):
array = []
for url in urlArr:
html = download(url)
str = BeautifulSoup(html,"html.parser")
str1 = str.find_all('tbody')
for i in str1:
href = i.find_all('td')
count = 0
for j in href:
count = count + 1
if (count == 4):
print j.text
array.append(int(j.text.replace(',','')))
return array

def xDataSource(begin, end):
array = []
for i in range(begin, end):
array.append(i)
return array

def draw(x, y):
plt.figure(figsize=(10,4)) #创建绘图对象
plt.plot(x, y, 'b*')
plt.plot(x, y, 'b')
plt.xlabel("Date(December)") #X轴标签
plt.ylabel("Ratio(%)")  #Y轴标签
plt.show()

if __name__ == "__main__":
draw(xDataSource(1, 31), arrDataSource(urlDataSource()))