python爬取京东机票，监控机票，机票价格分析

又到了一年一度的国庆假期。今年国庆、中秋撞到一起，所以打算回家过节。从帝都到海口，每到节假日的机票都是全价票…2400大洋的单程票，消费不起呀！所以为了买到便宜点的机票，我就写了一个简单的爬虫来监控机票价钱。

可能有人会觉得，阿里飞猪，携程什么的都有监控，何必自找麻烦。对于一个程序员来说，能自己做到的事情就不会去使用别人的东西。而且他们的产品不一定能满足我的需求啊。废话不多说，正文分割线!

分析目标地址

跟以前一样，爬虫第一件事。分析目标，看他是怎么处理机票查询。

地址：https://jipiao.jd.com/

进入查询页面后，发现京东查机票。一共发了三个异步的get请求来请求机票数据。



这里，我也没弄明白为什么京东要使用3个请求来获取机票信息。多次测试发现，这三个请求中会有概率查不到机票。既然这样，我们代码中也请求三次，直到拿到机票结果信息。

构建请求

首先我们需要构建一个get请求，把参数一起传过去。

#模拟请求头（可以根据自己浏览器访问，直接copy过来。）
headers = {
'Host': "jipiao.jd.com",
'Accept-Language': "zh-CN,zh;q=0.8,en;q=0.6",
'Accept-Encoding': "gzip, deflate, br",
'X-Requested-With' : 'XMLHttpRequest',
'Connection': "keep-alive",
'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36"
}

#requests.session()，这样的requests请求，会带上前一次请求的sessionid
roon_session = requests.session()

#请求所携带的参数。需要哪些参数，分析目标地址。
payload = {'depCity': '海口', 'arrCity': '北京', 'depDate': '2017-10-08', 'arrDate': '2017-10-08', 'queryModule': '1',
'lineType': 'OW', 'queryType': 'jipiaoindexquery'}

#请求目标
url = 'https://jipiao.jd.com/search/queryFlight.action'
#以json分方式读取请求结果（结果返回的是一个json）
page = roon_session.get(url,headers=headers, params=payload,proxies=proxies).json()

非常简单，几行代码。我们的请求url就构建好了。以上代码直接就能拿到京东的机票查询结果。注释我都写在代码上了，非常简单易懂，这里就不多说。

完整代码

请求代码写完之后，基本上就没有什么东西。 接下来基本上是看你如何去做这个请求。主要是程序的完整性，如何去避免产生问题使程序不能继续执行。

这里我是参照京东自己的三次请求，来写这部分的逻辑。

def Get_Plan_Money():

times = 1

headers = {
'Host': "jipiao.jd.com",
'Accept-Language': "zh-CN,zh;q=0.8,en;q=0.6",
'Accept-Encoding': "gzip, deflate, br",
'X-Requested-With' : 'XMLHttpRequest',
'Connection': "keep-alive",
'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36"
}

# 使用代理
proxies = {
# 'http': 'http://1.31.23.209:80',
# 'http': 'http://110.243.166.164',
}
roon_session = requests.session()

#代理测试部分
# url = 'http://ip.chinaz.com/'
# page = roon_session.get(url,proxies = proxies).text
# print (page)
# exit()

payload = {'depCity': '海口', 'arrCity': '北京', 'depDate': '2017-10-08', 'arrDate': '2017-10-08', 'queryModule': '1',
'lineType': 'OW', 'queryType': 'jipiaoindexquery'}

url = 'https://jipiao.jd.com/search/queryFlight.action'

page = roon_session.get(url,headers=headers, params=payload,proxies=proxies).json()

if page['data']['flights'] is None:
# payload = {'depCity': '海口', 'arrCity': '北京', 'depDate': '2017-10-08', 'arrDate': '2017-10-08', 'queryModule': '1',
#        'lineType': 'OW', 'queryType': 'jipiaoindexquery','queryuuid':page['data']['queryuuid']}
times = 2
print ('已进行二次请求')

page = roon_session.get(url, params=payload, headers=headers, proxies=proxies).json()

# if page['data']['flights'] is None:
#     print(page)
#     exit()
# 为了确保能发送，这里再进行第三次请求（京东的http 请求了四次。）

if page['data']['flights'] is None:
print('已进行第三次请求')
times = 3
page = roon_session.get(url, params=payload, headers=headers, proxies=proxies).json()

# 为了确保能发送，这里再进行第四次请求（京东的http 请求了四次。）
if page['data']['flights'] is None:
print('已进行第四次请求')
times = 4
page = roon_session.get(url, params=payload, headers=headers, proxies=proxies).json()

# 为避免第四次请求仍未成功引起程序报错
if page['data']['flights'] is None:
print('四次请求均未成功')
# exit()

print '%s 从%s飞往%s的飞机'%('20171008','海口','北京')
print '一共查询到%s个航班'%(len(page['data']['flights']))

# 创建列表来保存机票价钱
money_list = []
for plan in page['data']['flights']:
print '%s%s-最低价：%s' % (plan['airwaysCn'], plan['flightNo'], plan['bingoLeastClassInfo']['price'])
money_list.append(plan['bingoLeastClassInfo']['price'])

# 将列表排序
money_list.sort()
# print (money_list)
return money_list

主要还是，判断返回的机票数据是否存在，如果不存在再进行一次请求。以上代码，我用定时任务跑了两周，没有出现过一次错误。

运行结果

完善功能

拿到了机票数据，我们就可以做很多事情了。

比如我就做了一个简单的邮件系统，每半个小时监控我设定好的数据，然后给我发一封邮件。上班的时候，每半个小时，一个弹窗我就知道机票价格有没有变动，非常直观。

或者使用这些变化的机票，用来做数据分析。比如国庆期间，哪个航线的机票最便宜，打折力度最大。作为自己国庆出行的一个参考。

当然还可以做很多事情，只要你拿到了这些数据，利用起来是很有价值。