python爬虫爬取goubanjia的代理ip

今天这里介绍一下python3爬取http://www.goubanjia.com的代理ip的方法，这个网站的html有点变态，还做了js加密。对于初学python的我还是有一定的难道，但是研究了一段时间，写下了一个demo。接下来跟他家分享一下。

from bs4 import BeautifulSoup
from urllib import parse,request
class Spider:
def __init__(self):
self.beginPage = int(input("请输入起始页："))
self.endPage = int(input("请输入终止页："))

self.url = 'http://www.goubanjia.com/free/'
self.ua_header = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 Trident/5.0;"}

def tiebaSpider(self):
for page in range(self.beginPage, self.endPage + 1):
#拼接访问的地址
myUrl = self.url +"index%d.shtml"%page
self.loadPage(myUrl)

# 读取页面内容
def loadPage(self, url):
req = request.Request(url, headers = self.ua_header)
resHtml = request.urlopen(req).read()

# 解析html
html=BeautifulSoup(resHtml,"lxml")
#获取所以的ip的td
tdResultList=html.select('td[class="ip"]')
for tdResult in tdResultList:
#获取当前td所以的子标签
childList= tdResult.find_all()
text=""
for child in childList:
if 'style' in child.attrs.keys():
if child.attrs['style'].replace(' ','')=="display:inline-block;":
if child.string!=None:
text=text+child.string
#过滤出端口号
elif 'class'in child.attrs.keys():
classList=child.attrs['class']
if 'port' in classList:
port=self.get_poxy(classList[1])
#拼接端口
text=text+":"+str(port)

else:
if child.string != None:
text = text + child.string

#写入到文件
self.writeToTxt(text)

#解码端口号
def get_poxy(self,port_word):
word = list(port_word)
num_list = []
for item in word:
num = 'ABCDEFGHIZ'.find(item)
num_list.append(str(num))

port = int("".join(num_list)) >> 0x3
return port

def writeToTxt(self, text):
txtFile = open("portFile.txt", 'a+')
txtFile.write(text+"\n")
txtFile.close()

# 模拟 main 函数
if __name__ == "__main__":

# 首先创建爬虫对象
mySpider = Spider()
# 调用爬虫对象的方法，开始工作
mySpider.tiebaSpider()

因为初学python代码写的还不够好，希望大家多提意见，共同学习，也希望对你有所帮助。