您的位置：首页 > 编程语言 > Python开发

基于python的爬虫---自顶向下的设计思想

2016-04-29 22:23 609 查看
近几年python因其精炼的结构，简单的语法，强大的库支持，科学计算等优势迅速走红！亲自编写一个爬虫应该是检验你所学python基础的一个好工具吧！今天，我把我所学习的知识总结一下，和大家分享！欢迎大家指正。这个爬虫是爬取一些不需要登陆的网站的数据，当需要爬去登陆的网站需要学习cookie，ajax等技术，这里不做介绍给定一个网址url，指定要爬去的内容，分析出其中的url，分析出其中的数据，爬出来的数据保存格式，这是爬虫的基本任务，这里采用自顶向下的设计方式，首先指定要爬去的网址
root_rul="http://*******************"
首先你的实例化你的主类，并调用其开始爬去的方法
obj_spider=SpiderMain()
obj_spider.crew(root_rul)
根据分析，你的爬去顺序是首先将root_rul添加至url管理器中，随后需要从url管理器取得一个待爬去的url，并将此url对应的网页下载出来，随后将此页解析出新的url和文本解析，随后将解析出的url保存至待爬去的url管理器集合中，最后输出解析好的内容。这就是一个简单爬虫的流程根据如上所示我们需要建立几个类，url_manager、html_downloader、html_parser、html_outputer所以主类就可以写为如下所示：
from baike_spider import html_downloader, url_manager, html_parser,\
html_outputer

class SpiderMain(object):
def __init__(self):
self.urls = url_manager.UrlManager()
self.downloader = html_downloader.HtmlDownloader()
self.parser=html_parser.HtmlPaser()
self.outputer=html_outputer.HtmlOutputer()

def crew(self, root_rul):
count = 1
self.urls.add_new_url(root_rul)
while self.urls.has_new_url():
try:
new_url=self.urls.get_new_url()
html_cont=self.downloader.download(new_url)
new_urls , new_data = self.parser.parser(new_url , html_cont)
self.urls.add_new_urls(new_urls)
self.outputer.collect_data(new_data)
print count
if count ==100:
break
count +=1
except:
print 'crew filed'
self.outputer.outputhtml()
有一个爬去方法随后，我们开始实现上述的几个类及其方法
class UrlManager(object):

def add_new_url(self,url):

def add_new_urls(self,urls):

def has_new_url(self):

def get_new_url(self):
downloader类
import urllib2
class HtmlDownloader(object):

def download(self,url):
parser类
from bs4 import BeautifulSoup
import re
import urlparse
class HtmlPaser(object):

def parser(self ,page_url , html_cont):
outputer类
class HtmlOutputer(object):
def outputhtml(self):
def collect_data(self , data):
这就将这个框架定义好了，接下来我们就需要根据需求编写实际代码了
从顶部开始，逐步细化，逐步实现你的需求，这就是你一种设计方式，ur_manager需要这么几个方法：添加url
def add_new_url(self,url):if url is None:returnif url not in self.new_urls and url not in self.old_urls :self.new_urls.add(url)
添加解析出来的大量url
def add_new_urls(self,urls):if urls is None or len(urls)==0:returnfor url in urls:self.new_urls.add(url)
判断是否有url
def has_new_url(self):return len(self.new_urls) !=0
获取一个url
    def get_new_url(self):new_url=self.new_urls.pop()if new_url not in self.old_urls:self.old_urls.add(new_url)return new_url
downloader类需要实现将指定的页面下载下来：
 def download(self,url):if url is None :return Noneresponse = urllib2.urlopen(url)if response.getcode()!= 200:return Nonereturn response.read()
解析器需要解析出url和需要的内容来
def parser(self ,page_url , html_cont):if page_url is None or html_cont is None:returnsoup = BeautifulSoup(html_cont,'html.parser',from_encoding='utf-8')new_urls=self._get_new_urls(page_url,soup)new_data=self._get_new_data(page_url,soup)return new_urls,new_data
因此定义了两个方法_get_new_url和_get_new_data
def _get_new_urls(self, page_url, soup):new_urls=set()links = soup.find_all('a',href=re.compile('/view/\d+.htm'))for link in links:new_url = link['href']new_full_url = urlparse.urljoin(page_url, new_url)print new_full_urlnew_urls.add(new_full_url)return new_urlsdef _get_new_data(self, page_url, soup):res_data = {}res_data['url']=page_url#<dd class="lemmaWgt-lemmaTitle-title"><h1>Guido van Rossum</h1>title_node=soup.find('dd',class_='lemmaWgt-lemmaTitle-title').find('h1')res_data['title']=title_node.get_text()#<div class="lemma-summary" label-module="lemmaSummary">summary_node = soup.find('div',class_="lemma-summary")res_data['summary']=summary_node.get_text()return res_data
outputer需要将解析好的数据输出
def outputhtml(self):fout = open('output.html','w')fout.write('<html>')fout.write('<body>')fout.write('<table border="1">')for data in self.datas:fout.write('<tr>')fout.write('<td>%s</td>'%data['url'].encode('utf-8'))fout.write('<td>%s</td>'%data['title'].encode('utf-8'))fout.write('<td>%s</td>'%data['summary'].encode('utf-8'))fout.write('</tr>')fout.write('</table>')fout.write('</body>')fout.write('</html>')fout.close()

                                            

                                        

                        
                        内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息 
                    

                    

                    

                        

                         标签： 
                                                

                        

                    


                

            


            

                
相关文章推荐

                

                
            

        

        

            

            
            

                

                    
新的分享

                    

                        
                    

                

            


            

                

                    
章节导航