python爬虫：抓取乌云厂商url

目标：

乌云网是国内最大最权威的安全平台，所以乌云网的注册厂商都是业较有影响力的厂商，我们的最终目的是通过乌云网拿到所有厂商的url，即主站域名，随后调用subDomainsBrute能批量暴力扫描子域名，最后将所有得到的子域名通过AWVS漏扫接口批量扫描，从而达到了批量、全面扫描国内网站巨头站点的目标。

本次目标：

乌云网的厂商列表有43页、844条厂商记录，页面为http://www.wooyun.org/corps/page/1到http://www.wooyun.org/corps/page/43,。本次写一个爬虫扫描这些网页将得到的url存储到本地。



代码

# -*-coding:UTF-8 -*-
from urllib import urlretrieve
import re

def getWooyunUrl():
L = []
for i in range(1, 44):
url = "http://www.wooyun.org/corps/page/" + str(i)
try:
revtal = urlretrieve(url)[0]
except IOError:
revtal = None
f = open(revtal)
lines = ''.join(f.readlines())
regex = '_blank">(.*)</a'
for m in re.findall(regex, lines):
if(m[0] == 'h'):
L.append(m)
L = [line + '\n' for line in L]
f = open("wooyun.txt", 'w')
f.writelines(L)
f.close()

if __name__ == '__main__':
getWooyunUrl()

大约200秒之后，本地会生成wooyun.txt文件里面包含所有url。



文件内容：