基于BeautifulSoup解析的网页爬虫实现

目标

爬去cnkongqi.com上的气象数据，cnkongqi.com站点上包含全国每个城市的天气，空气质量等数据，这些数据每小时都会进行更新。我的目标是要将该站点的某一时间的气象数据全部抓取下来，并保存到数据库。

本次爬虫编写语言选用python，由于在下对python是小白，所以这个爬虫程序可以算是我的第一个完整的python爬虫。以前使用过java编写一些爬虫程序，爬去够某些小说网站的小说，所以对爬虫的原理有着一定的理解，根据该原理使用python进行实现。

分析

cnkongqi.com上的某一个城市的气象数据地址为：http://www.cnkongqi.com/pc/510100.htm ，每小时数据更新后地址不变。而且每个页面都包含一个城市目录，该站点没有单独的目录页，所以需要预先在本地创建城市数据页面目录。创建好城市目录后，即可进行遍历目录进行数据爬去和存储。如果需要不断的更新本地数据，只需要每小时执行一次便利代码即可。需要完成：

目录创建

遍历目录获取气象信息你

实现

使用urllib来获取目标页面html

使用Beautifulsoup解析html

使用pymysql进行数据存储

数据库设计

根据站点数据结构特点，设计了4张表：

- 省份目录 t_province

CREATE TABLE t_province
(
id INT(11) PRIMARY KEY NOT NULL AUTO_INCREMENT,
name VARCHAR(20)
);

城市目录 t_city

CREATE TABLE t_city
(
id INT(11) PRIMARY KEY NOT NULL,
name VARCHAR(30),
provinceId INT(11),
infoUrl VARCHAR(50),
updateTime TIMESTAMP DEFAULT CURRENT_TIMESTAMP NOT NULL
);

城市气象数据 t_city_data

CREATE TABLE t_city_data
(
id INT(11) PRIMARY KEY NOT NULL AUTO_INCREMENT,
tq VARCHAR(5) COMMENT '天气',
wd FLOAT(5,2) COMMENT '温度 。C',
sd FLOAT(5,2) COMMENT '湿度 %',
fx VARCHAR(20) COMMENT '风向',
zs INT(11) COMMENT '指数',
dj VARCHAR(20) COMMENT '等级',
cityId INT(11) COMMENT '城市编号',
updateTime TIMESTAMP COMMENT '更新时间'
);

城市观测点空气质量数据 t_city_point_data

CREATE TABLE t_city_point_data
(
id INT(11) PRIMARY KEY NOT NULL AUTO_INCREMENT,
pointName VARCHAR(20) COMMENT '监测点名称',
pm25 FLOAT(6,2) COMMENT 'pm2.5浓度',
aqi_cn INT(11) COMMENT '中标AQI',
aqi_us INT(11) COMMENT '美标AQI',
cityId INT(11) COMMENT '城市编号',
updateTime TIMESTAMP COMMENT '更新时间'
);

省份及城市目录创建

目录创建代码仅需执行一次即可。

由于python的易读性，就不赘述了，直接上代码：

from urllib.request import urlopen
from bs4 import BeautifulSoup
import pymysql

# 创建数据库连接
conn = pymysql.connect(host='127.0.0.1', user='root', passwd='123456', db='test', charset="utf8")
cur = conn.cursor()
cur.execute("use test")

# 存储省份数据
# code - 省份编号
# name - 省份中文名
def storeProvince(code, name):
cur.execute("INSERT INTO t_province VALUES (%s,%s)", (code, name))
cur.connection.commit()

# 存储城市目录
# code - 城市编号
# name - 城市中文名
# pcode - 所属省份编号
# url - 城市气象数据地址
def storeCity(code, name, pcode, url):
cur.execute("INSERT INTO t_city (id, `name`, provinceId, infoUrl) VALUES (%s,%s,%s,%s)", (code, name, pcode, url))
cur.connection.commit()

# 任意城市页面html获取
html = urlopen("http://www.cnkongqi.com/pc/510100.htm")

# 解析该页面的html
# 注：不添加"html.parse" 会报错，但是参考代码上却没有该参数，对此比较纳闷，求高手指教
bsObj = BeautifulSoup(html.read(), "html.parser")

# 获取该页面的目录信息，并存储
for link in bsObj.find("div", {"id": "div2"}).findAll("a"):
# 获取省份信息
code = link.attrs['id'][4:]

# 存储
storeProvince(link.attrs['id'][4:], link.get_text())

# 获取该省份的城市信息
for alink in bsObj.find("div", {"id": "city_div_" + code}).findAll("a"):
ccode = alink.attrs['id'][5:]
cname = alink.get_text()
curl = "http://www.cnkongqi.com/pc/" + alink.attrs['href']
# 存储
storeCity(ccode, cname, code, curl)

# 关闭资源
cur.close()
conn.close()

遍历目录进行气象数据抓取

数据抓取代码可以重复使用，该站点并未对采集频率进行限制。

from urllib.request import urlopen
from bs4 import BeautifulSoup
import pymysql
from pymysql import DataError

# 创建数据库连接
conn = pymysql.connect(host='127.0.0.1',user='root',passwd='123456',db='test',charset = "utf8")
cur = conn.cursor()
cur.execute("use test")
updatecur = conn.cursor()
updatecur.execute("use test")

# 存储城市气象数据
# data - 一条城市数据元组
def saveCityData(data):
try:
updatecur.execute("INSERT INTO t_city_data (tq,wd,sd,fx,zs,dj,cityId,updateTime) VALUES (%s,%s,%s,%s,%s,%s,%s,now())", data)
updatecur.connection.commit()
except DataError:
print(data)

# 存储观测点数据
# data - 一条观测点数据元组
def saveCityPointData(data):
try:
updatecur.execute("INSERT INTO t_city_point_data (pointName, pm25, aqi_cn, aqi_us, cityId,updateTime) VALUES (%s,%s,%s,%s,%s,now())", data)
updatecur.connection.commit()
except DataError:
print(data)

# 更新一个城市的更新时间
def updateCity(code):
updatecur.execute("UPDATE t_city SET updateTime=now() WHERE id=%s", (code))
updatecur.connection.commit()

# 获取html中某个节点的数据，并设置默认值
def getData(source,index, default):
try:
return source[index].get_text()
except IndexError:
return default

# 空值替换
def replaceEmpty(data):
if(data == ''):
return '0'
else:
return data

# 城市目录获取
cur.execute("SELECT * FROM t_city")

# 遍历目录获取城市气象信息
for var in cur.fetchall():
cityCode = var[0]
url = var[3]

# 城市气象信息页面html获取
html = urlopen(url)
# html 解析
bsObj = BeautifulSoup(html.read(), "html.parser")

# 城市气象信息解析
left_left = bsObj.find("div",{"class":"s_left-left"}).findAll("li")
left_right = bsObj.find("div",{"class":"s_right-right"}).findAll("span")
tq = getData(left_left,0,'')
wd = getData(left_left,1,'温度-273.15。C')
sd = getData(left_left,2,'湿度0%')
fx = getData(left_left,3,'-')
zs = getData(left_right,0,'0')
dj = getData(left_right,1,'-')
# 封装元组
cityData = (tq[2:],replaceEmpty(wd[2:len(wd)-2]),replaceEmpty(sd[2:len(sd)-1]),fx,zs.replace('-','0'),dj,cityCode)
# 存储
saveCityData(cityData)

# 获取观测点列表
pointTableTr = bsObj.findAll("table",{"class":"tbaqi"})[1].findAll("tr")
# 遍历观测点
for tr in pointTableTr:
# 空气质量数据解析，并封装元组
td = tr.findAll("td")
pointData = (td[0].get_text(),td[1].get_text().replace('-','0'),td[2].get_text().replace('-','0'),td[3].get_text().replace('-','0'),cityCode)
# 存储
saveCityPointData(pointData)
# 更新该城市，设置更新时间为当前时间
updateCity(cityCode)

# 资源关闭
updatecur.close()
cur.close()
conn.close()