简易Python脚本爬取我爱我家网站信息

最近杭州房价涨得好凶，要不要跟风买房，确实是个头疼的问题，不过做点准备总是没坏处的。前段时间我找了一个我爱我家的中介了解了下情况，他提到我爱我家官网，说上面信息的时效性和准确度都不错，可以时常关注一下。本着程序员的天性，一切可以用脚本偷懒的事情就都不要麻烦自己动手了，于是就写了一个脚本，用于监测我爱我家官网的消息变动，有新的房源信息就发短信给自己。

首先分析一下可行性，爬取网站，取得HTML页面的信息当然是没什么难度的，接下来就是从中整理出有用的信息，然后发短信给自己了。

发送短信的服务，搜索了一下有好几家，但很多都是套餐包，最便宜的也要几百块，作为我这种非刚需用户来说有点贵了。挑来挑去，最终我选了阿里大于作为短信发送平台，因为阿里大于是按条数收费的，按需收费，每条4.5分，而且是淘宝账号登录，支付宝付款，也比较方便。

Talk is cheap, show me the code. 先上代码。以之江一号小区为例，如果要搜索其他小区，只要修改url的最后一个字段即可。

wiwj.py文件

1 # -*- coding: utf-8 -*-
2
3 import urllib2
4 import re
5 import sms
6 import logging
7 logging.basicConfig(level=logging.DEBUG,
8                     filename='log.log'
9                     )
10
11
12 def del_html_mark(content):
13     inner_pattern = re.compile('<.*?>')
14     return re.sub(inner_pattern, '', content)
15
16
17 def del_additional_mark(content):
18     inner_pattern = re.compile(' ')
19     content = re.sub(inner_pattern, '', content)
20     inner_pattern = re.compile('[;\t\n ]')
21     content = re.sub(inner_pattern, '', content)
22     return content
23
24
25 def handle_content(content):
26     content = del_html_mark(content)
27     content = del_additional_mark(content)
28     return content
29
30
31 url = 'http://hz.5i5j.com/exchange/_%E4%B9%8B%E6%B1%9F%E4%B8%80%E5%8F%B7'
32 user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
33 headers = {'User-Agent': user_agent}
34 html_content = ''
35 logging.info('Starting scanning...')
36 try:
37     request = urllib2.Request(url, headers=headers)
38     response = urllib2.urlopen(request)
39     html_content = response.read()
40     # print html_content
41 except urllib2.URLError, e:
42     if hasattr(e, "code"):
43         print e.code
44     if hasattr(e, "reason"):
45         print e.reason
46
47 content = html_content.decode('utf-8')
48 pattern = re.compile('<div class="list-info">(.*?)</div>', re.S)
49 items = re.findall(pattern, content)
50 for item in items:
51     title_pattern = re.compile('<h2><a href=.*?>(.*?)</a></h2>')
52     title_list = re.findall(title_pattern, item)
53     title = title_list[0]
54     title = handle_content(title)
55     # print title
56     community_pattern = re.compile('<a href=.*? target="_blank"><h3 >(.*?)</h3></a>')
57     community_list = re.findall(community_pattern, item)
58     community = community_list[0]
59     community = handle_content(community)
60     # print community
61     detail_pattern = re.compile('<li class="font-balck">(.*?)</li>')
62     detail_list = re.findall(detail_pattern, item)
63     detail = detail_list[0]
64     detail = handle_content(detail)
65     # print detail
66     price_pattern = re.compile('<h3>(.*?)</em></h3>')
67     price_list = re.findall(price_pattern, item)
68     price = price_list[0]
69     price = handle_content(price)
70     # print price
71     size_pattern = re.compile('<p>(.*?)/.*?</p>')
72     size_list = re.findall(size_pattern, item)
73     size = size_list[0]
74     size = handle_content(size)
75     total_msg = {
76         'title': title.encode('utf-8'),
77         'community': community.encode('utf-8'),
78         'detail': detail.encode('utf-8'),
79         'price': price.encode('utf-8'),
80         'size': size.encode('utf-8')
81     }
82     file = open('record.log', 'r')
83     old_info_list = file.readlines()
84     for old_info in old_info_list:
85         old_info = del_additional_mark(old_info)
86     file.close()
87     is_old_message = False
88     for old_info in old_info_list:
89         if old_info == (total_msg['title'] + '\n'):
90             is_old_message = True
91             break
92     if is_old_message:
93         continue
94     file = open('record.log', 'a')
95     print total_msg
96     sms.send_msg(total_msg, '我的手机号码')
97     file.write(total_msg['title'] + '\n')
98     file.close()
99 logging.info(total_msg['title'])
100 logging.info(total_msg['detail'])
101 logging.info(total_msg['community'])
102 logging.info(total_msg['size'])
103 logging.info(total_msg['price'])
104 logging.info('Finished scanning.')
105 file.close()

sms.py文件

1 # -*- coding: utf-8 -*-
2
3 import top.api
4
5
6 def send_msg(msg, tel):
7     app_key = "******"
8     secret_key = "******"
9
10     req = top.api.AlibabaAliqinFcSmsNumSendRequest()
11     req.set_app_info(top.appinfo(app_key, secret_key))
12
13     req.extend = ""
14     req.sms_type = "normal"
15     req.sms_free_sign_name = "******"
16     req.sms_param = "{'position':'" + msg['community'] + "','temperature':'" + msg['size'] + \
17                     "','detail':'" + msg['price'] + "'}"
18     req.rec_num = tel
19     req.sms_template_code = "******"
20     try :
21         resp = req.getResponse()
22         print (resp)
23     except Exception, e:
24         print (e)
25
26
27 if __name__ == "__main__":
28     send_msg('测试文本', '测试电话号码')

wiwj.py是主文件，基本原理是将Python脚本伪装成浏览器，对特定页面进行爬取，然后将获取到的HTML文本信息用正则表达式取出需要的字段，包括房屋总价、面积、单价、描述等。

sms.py文件中接入了阿里大于的SDK top.api，通过这两句引入，然后根据申请的模板信息，设定一些参数

req = top.api.AlibabaAliqinFcSmsNumSendRequest()
req.set_app_info(top.appinfo(app_key, secret_key))

sms.py文件中我申请的模板的信息在这里用******替代了，读者如果需要，可以去申请一个模板。

因为我爱我家官网上的信息是时常变动的，即使是老信息，也可能突然更新一下，显示在最前面，而且网站上并没有房屋位置的详细信息，所以无法直接判定某条刚更新过的信息是不是之前就有的。我采取的判断一条信息是否是老信息的方法是，维护一个log文件，将每次爬取到的房产信息都写在这个log文件中，每次爬取到新的信息，就跟log文件中已有的信息进行对比，如果总价、单价和描述都相同，就认为这是同一个房子，不发送短信提醒。如果不完全相同，说明这就是新房子，发送短信提醒。

补充一句，有读者可能会对这一句感到奇怪

req.sms_param = "{'position':'" + msg['community'] + "','temperature':'" + msg['size'] + \
17                     "','detail':'" + msg['price'] + "'}"

这是因为阿里大于的短信发送模板是需要进行审核的，我之前提审了几个模板，其中有房产相关的文字，最终处理结果都是审批不通过，最后只好伪装成发送天气预报信息的短信模板，这样才过了审核。不过阿里大于比较赞的一点是，它会把审核不通过的原因写出来，这样就可以有针对性地进行修改，然后再次提审。

最后，将这些脚本放到我的个人VPS上(树莓派也可以)，并设定了crontab定时任务，

*/10 * * * * python ~/Documents/Fang/wiwj.py

每10分钟执行一次，实时度基本可以接受。

就这样，大功告成 XD