用python进行分布式网页数据抓取（二）—— 核心问题讨论

数据匹配



首先先研究最关键的数据抓取。从形式各异的数据中将内容“扒”下来。

当然得依赖我们的强力工具 正则表达式了（个人觉得基于DOM树分析很麻烦，很不灵活）



分析了几个BOKECC页面后，总结如下：

1. 各页面有一定差别，可能是基于不同版本。HTML写的很不正规，基于HTML标签来匹配肯定不合适。

2. 页面带动态内容，需要分析，模拟AJAX去请求。



在基于HTML源码的数据爬取中，如果单纯的想基于HTML标签做挖掘，肯定正确率很低。还是需要返璞归真，人怎么看的，就怎么挖。

于是我大多是采用基于页面视觉（比如文字、或者区域）的匹配方法。将一些不太重要的HTML标签过滤掉。然后进行数据匹配。



这里用到了python的re模块。



先写了写几个程序用来测试，测试了来自20个不同网站的页面，基本能够抓取正确。



接下来说说AJAX内容。

为什么动态内容需要模拟AJAX请求呢？

因为你以HTTP流的方式去获取网页内容，是不带动态打出的内容的。（比如div标签里是空的），但是当你以浏览器的形式去访问，能够看到数据，这是因为浏览器的javascript引擎执行了其中的JS代码，去异步请求数据，动态打出在页面上。



WEB接口



每个节点需要暴露WEB接口，在上一篇的设计中，我提到了SOAP协议。实际实现的时候，在此系统中我们还是使用的基于HTTP GET的接口。（编码比较简单，:D），为了方便部署、也为了体现python一切都那么简单的原则，我没有使用apache等知名Web服务器，而是使用了python的BaseHTTPServer模块。重载 do_GET方法来实现我们的WEB接口暴露。



为什么WEB接口需要设计同步和异步两种返回？由于我们的分布式节点是基于任务形式的，所以我们节点任务逻辑反馈包括2步：

1. 确认任务收到

2. 任务完成回调



这样控制者方面的程序就很好编写了：对于所有的节点发送任务，同时附带任务号，在节点同步反馈接收任务后，等待，若某节点任务回调了，则认为该节点闲置，再分配任务。。。（当然，实际情况可能每个节点是多线程跑的，还可以由节点、或者控制者来维护一个任务队列和线程池）



异步如何实现？

起线程。（当然你也可以管理线程池，我这儿就没管这么多了）



数据库操作



没啥好说的，我这用的MYSQL，直接SQL语句。简单明了。



如何部署？

由于我这只有在WINDOWS平台部署的需求，所以我用py2exe打成EXE包发布。

若想实现自动化部署也很简单，自己在每个节点上写个“后门”，可以统一调度所有机器的后门即可。（控制其下载、重启）