python编写爬虫获取区域代码-递归获取所有子页面

上一篇文章用htmlparser写了一个java的获取区域的爬虫，觉得太笨重。发现python也可以实现这个功能。

这里就简单写一个用python3写的小爬虫例子

功能目标：对指定网站的所有区域信息进行筛选，并保存到文本中

思路：1、定义一个队列，初始向队列中put一个地址

   2、判断队列是否为空，不为空调用getURL函数，为空则结束

   3、getURL获取URL链接的内容，并用beautifulSoup（第三方需要单独安装，可百度）匹配a链接

   4、对匹配的内容进行字符串拼接，调用text_create保存成文本

声明：这个只是一个DEMO，可以参考学习使用，所以逻辑不是很严谨，大家勿喷。

#coding:utf-8
import urllib.request
import sys,operator
import queue
import re
import sys
from bs4 import BeautifulSoup
base = "http://www.diqudaima.com/"
lr = queue.Queue()

def text_create(name, msg):#保存文件，传入文件名与内容
desktop_path = '/Users/wuhao/Desktop/python/'
full_path = desktop_path + name + '.txt'
file = open(full_path,'w')
file.write(msg)
file.close()
print('Done :',name)

def getURL(url):
try:
req = urllib.request.Request(url)
response = urllib.request.urlopen(req)
the_page = response.read().decode("GBK")
soup = BeautifulSoup(the_page, 'html.parser')
data=soup.select("div ul li a")#获取a链接
body =''
if len(data)>0:
for html_tag in data:
print("title : "+html_tag.string)
print(base+html_tag['href'][1:])
body+=html_tag.string
body+='\n'
lr.put_nowait(base+html_tag['href'][1:])
else:
data=soup.select("div ul li")
for html_tag in data:
print("title : "+html_tag.string)
body+=html_tag.string
body+='\n'
mode = re.compile(r'\d+')
print (mode.findall(url))
if len(mode.findall(url))>0:
text_create(mode.findall(url)[0],body)
except:#因为可能出现TimeoutError等异常，这里捕获并重新放入队列中
print("链接超时,未处理链接:",lr.qsize())
lr.put_nowait(url)
else:
print("未处理链接:",lr.qsize())

if __name__ == "__main__":
url="http://www.diqudaima.com/zhejiang/hangzhoushi/"
lr.put_nowait(url)
while not lr.empty():
vistorUrl =lr.get_nowait()
print ("访问链接:"+vistorUrl)
getURL(vistorUrl)


运行结果：