配合scrapy，用请求方式抓取一些网站内容。例如抓取360手机应用APP信息。

并不是一想到抓取网页就开始写scrapy爬虫，其实根据需求选择适当的方式来抓取反而效率更高。

例如抓取360手机应用各种分类的前5页的信息。我们不写scrapy，而直接去分析请求消息的样式，模拟发送这个消息，然后分析返回的内容，同样可以获取想要的信息。更重要的是，在对于一些JS动态加载内容（例如抓取Googleplay上的应用）抓取时，这种方式去获取重要信息后再配合scrapy抓取，就能获得更好的效果。在这里仅仅使用发送请求的方式去抓取。

需求：抓取360手机应用搜索种类的前五页的内容。例如：



在搜索栏输入游戏，会出现这些应用（按种类搜索，都是一样的）。我们去抓取这些游戏的信息。这里作为例子，只抓取应用的包名。

如何查看浏览器请求消息，这里就不多赘述，F12打开浏览器，去查找返回所需请求的信息，一般从前面开始看Network中的信息，再查看response，有返回所需信息的内容即可：



这即是我们要的信息，查看Headers去寻找模拟发送请求所需的信息，这里就不再赘述。360网站发送请求的头URL其实就是URL，例如点击下一页之后，URL为：



这就是发送请求的格式。只要构造好这个URL，则随便取数据，例如取体育类的第三页的内容，则组成的连接为  http://zhushou.360.cn/search/index/?kw=体育&page=3

以此类推。可以使用Chrome的插件Postman去验证返回的结果，也可以请求完毕后直接打印出结果。便知道是否正确了。还是直接上程序吧：

# -*- coding: utf-8 -*- 

import sys

reload(sys)

sys.setdefaultencoding( "utf-8" )

import scrapy

from scrapy.crawler import CrawlerProcess

#from scrapy.utils.project import get_project_settings

#from databases import TSFDataBase

import urllib

import urllib2

from lxml import etree 

appkind=['阅读','商务','漫画','通讯','教育','娱乐','金融','游戏','健康','图书','生活','动态壁纸','影音','医疗','音乐','新闻','个性化','摄影','效率','购物','社交','体育','工具','旅游','交通','天气']

fileWriteObj = open('360app.txt', 'w')

print len(appkind)

for ikind in range(len(appkind)):

    for ipage in range(5):

        print ipage

        data={}

        data['page']=ipage+1

        

        test_data_urlencode=urllib.urlencode(data)

        

        url="http://zhushou.360.cn/search/index/?kw="+appkind[ikind]+"&page="+str(ipage+1)

        data1 = urllib.urlencode(data)

        req = urllib2.Request(url, data1)

        response = urllib2.urlopen(req)

        result = response.read()

        #print result

        if isinstance(result, unicode):

            pass

        else:

            result = result.decode('utf-8')

         

        tree = etree.HTML(result)

        ranks=tree.xpath('//div[@class="download comdown"]/a/@href')

        print len(ranks)

        #ids=tree.xpath('//div[@class="card no-rationale square-cover apps small"]/div/div[2]/a[2]/@href')

        for i in range(len(ranks)):

            apppack=ranks[i]

            apppack=apppack[apppack.rfind('/')+1:apppack.rfind('_')]

            onedata=apppack+','+str(ikind+1)

            print onedata

            fileWriteObj.write(onedata+'\n')  

    

    

    print '-------------------'

fileWriteObj.close() 

if __name__=='__main__':

    pass

结果：包名后面跟着的是分类的编号，例如阅读为1



该程序搜索了26中关键词的应用，每种应用抓取前五页，为了方便展示，直接存入文本。至于xpath等知识就不再赘述。以后有时间会整理如何处理页面JS加载内容的抓取。