Scrapy实战之抓取ajax网站

目标网站为http://www.ccgp-hubei.gov.cn，经检查HTML代码发现这个网页有一个iframe，iframe里面的内容才是网站的真正有用的内容，所以第一步是要先找到真正的URL。



以http://www.ccgp-hubei.gov.cn/fnoticeAction!listFNotice.action为例，这个网址的主要结构是一个分页的列表，有上页、下页等等。查看这两个按钮的HTML Element可以看到这是一个js的函数：



一开始的时候我一直在想，既然这是js函数，那我就用ScrapyJS + Splash的组合来解决，但是经过试验发现出现了一个问题。就是在Splash脚本中，可以修改

document.title = "hello"

之类的东西，但是调用了js函数转到另一个链接之后，返回的仍然是最开始时候的HTML代码，无论是用

splash:html()

还是

document.body.innetHTML

都不行。不知道到底是没有运行js函数成功，还是Splash本身的问题，在网上查找了一下，发现遇到这种问题的人很多，但是没有一个可行的方案，最后GitHub上某大神告诉我Splash在开发

splash:mouse_click()

函数，让我静静等待。

无奈之下，我换了种思路，开启F12，点击“下页”按钮，看看浏览器倒底做了什么，如图所示：



这就量浏览器POST的数据，这下尝试一下直接向服务器发送这些数据：

# -*- coding: utf-8 -*-

from scrapy.spiders import Spider
from scrapy.http import FormRequest
from scrapy.shell import inspect_response

class ThirdSpider(Spider):
name = 'ThirdSpider'
download_delay = 0
start_urls = [
'http://www.ccgp-hubei.gov.cn/fnoticeAction!listFNotice.action'
]

def parse(self, response):
formdata = {"queryInfo.BEGINTIME1": "", "queryInfo.BEGINTIME2": "",
"queryInfo.CGFS": "", "queryInfo.CGLX": "", "queryInfo.ENDTIME1": "",
"queryInfo.ENDTIME2": "", "queryInfo.FBRMC": "", "queryInfo.GGLX": "",
"queryInfo.QYBM": "", "queryInfo.TITLE": "", "queryInfo.curPage": "2",
"queryInfo.pageSize": "15", "rank": ""}
yield FormRequest.from_response(response, formdata=formdata, callback=self.parse_item)

def parse_item(self, response):
inspect_response(response, self)

结果如下所示，可以看到页码果然已经转到了第二页，至此问题结束。