python简单爬虫爬取队列的实现

deque()是双端队列。set()中不允许出现重复的内容。
import re
import urllib
import urllib.request
from collections import deque

queue=deque()#待抓取的网页
visited=set()#已经抓取过的网页
url='https://www.zhihu.com/topic/19570752/top-answers'
queue.append(url)#将链接放入待访问队列
num=0
while queue:
url=queue.popleft()#从左侧取出一个链接
visited.add(url)
num=num+1
print('正在抓取第',num,'条链接')
urlop=urllib.request.urlopen(url)
if 'html' not in urlop.getheader('Content-Type'):#不是html页面 #
continue
try:
data=urlop.read().decode('utf-8')
except:
continue
linkre=re.compile('href=\"(.+?)\"')#利用正则表达式，取出所有链接
for x in linkre.findall(data):#遍历上面的链接 集合
if 'http' in x and x not in visited:
queue.append(x)
print(x,'加入队列')