python爬虫---post抓取查询数据简单说明

#表示删不去这一行，这个代码框框啊  啊啊啊啊啊

一、做python爬虫，在爬取数据前，一般需要对网页进行简单分析。这里推荐用火狐的HttpFox，简单实用。

如下图，巨潮信息网的，通过查询显示想要的数据，然后抓取下来。
      


二、爬取查询数据，查询类型的，说明是要post相关数据过去才能get到想要的数据。

通过HttpFox分析，要得到相关的数据，post过去的数据相当复杂。从HttpFox的POST Data 项看到下面这一大串信息：

stock=&searchkey=&plate=sz%3Bszmb%3Bszzx%3Bszcy%3Bshmb%3B&category=category_sjdbg_szsh%3Bcategory_ndbg_szsh

%3Bcategory_bndbg_szsh%3Bcategory_yjdbg_szsh%3B&trade=&column=szse&columnTitle=%E5%8E%86%E5%8F%B2%E5%85

%AC%E5%91%8A%E6%9F%A5%E8%AF%A2&pageNum=1&pageSize=30&tabName=fulltext&sortName=&sortType=&limit=&showTitle

category_sjdbg_szsh%2Fcategory%2F%E4%B8%89%E5%AD%A3%E5%BA%A6%E6%8A%A5%E5%91%8A%3Bcategory_ndbg_szsh

%2Fcategory%2F%E5%B9%B4%E5%BA%A6%E6%8A%A5%E5%91%8A%3Bcategory_bndbg_szsh%2Fcategory%2F%E5%8D%8A%

E5%B9%B4%E5%BA%A6%E6%8A%A5%E5%91%8A%3Bcategory_yjdbg_szsh%2Fcategory%2F%E4%B8%80%E5%AD%A3%E5

%BA%A6%E6%8A%A5%E5%91%8A%3Bsz%2Fplate%2F%E6%B7%B1%E5%B8%82%E5%85%AC%E5%8F%B8%3Bszmb%2Fplate

%2F%E6%B7%B1%E5%B8%82%E4%B8%BB%E6%9D%BF%3Bszzx%2Fplate%2F%E4%B8%AD%E5%B0%8F%E6%9D%BF%3Bszcy

%2Fplate%2F%E5%88%9B%E4%B8%9A%E6%9D%BF%3Bshmb%2Fplate%2F%E6%B2%AA%E5%B8%82%E4%B8%BB%E6%9D%B

F&seDate=2016-10-13

想要重点抓取一季度、半年、三季度、年度的年报。看类别选择：

category=category_sjdbg_szsh%3Bcategory_ndbg_szsh%3Bcategory_bndbg_szsh

%3Bcategory_yjdbg_szsh%3B

这么复杂的post数据，根本不知道怎么构建自己的post数据项。特别是某个某个post变量是取多个值时。注意到：%3B 是URL编码值代表分号“;”。这样一个变量多个值的问题解决。

#-*- coding: utf8 -*-
import urllib2
import urllib
import re
import time,datetime
import os
import shutil

def getstock(page,strdate):
values = {
'stock':'',
'searchkey':'',
'plate':'sz;szmb;szzx;szcy;shmb',
#%category_bndbg_szsh半年报告；category_sjdbg_szsh三季度；category_ndbg_szsh年度；category_yjdbg_szsh一季度
'category':'category_bndbg_szsh;category_sjdbg_szsh;category_ndbg_szsh;category_yjdbg_szsh',
'trade':'',
'column':'szse',
'columnTitle':'%E5%8E%86%E5%8F%B2%E5%85%AC%E5%91%8A%E6%9F%A5%E8%AF%A2',
'pageNum':page,
'pageSize':'50',
'tabName':'fulltext',
'sortName':'',
'sortType':'',
'limit':'',
'seDate':strdate}

data = urllib.urlencode(values)
url = "http://www.cninfo.com.cn/cninfo-new/announcement/query"
request = urllib2.Request(url,data)
datime = datetime.datetime.now()
response = urllib2.urlopen(request,timeout=4)
re_data = response.read()
re_data = re_data.decode('utf8')
dict_data = eval(re_data.replace('null','None').replace('true','True').replace('false','False'))
print dict_data #转成dict数据，输出看看
return dict_data

try:
date2 = time.strftime('%Y-%m-%d', time.localtime())
page = 1
ret = getstock(str(page),str(date2))
except Exception as error:
print error

good luck！