scrapy框架利用start_requests方法改写post请求
2018-08-03 14:48
344 查看
scrapy默认发起的是get请求,如果你想发起post请求该怎么办呢?
解决办法就是利用start_request方法,对该方法进行改写,进行post请求。
我们以post请求http://httpbin.org为例子讲解。
我们可能本能的以为改掉start_urls就可以了
例如:
class HttpbinSpider(scrapy.Spider): name = 'httpbin' allowed_domains = ['httpbin.org'] start_urls = ['http://httpbin.org/post']
但是结果状态吗是405
2018-08-03 14:39:31 [scrapy.core.engine] DEBUG: Crawled (405) <GET http://httpbin.org/post> (referer: None) 2018-08-03 14:39:32 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <405 http://httpbin.org/pos t>: HTTP status code is not handled or not allowed
所以我们必须重写start_request方法。改变里面的url为http://httpbin.org,
method改变为POST,callback为self.parse_post
构建parse_post方法。
def start_requests(self): yield scrapy.Request(url='http://httpbin.org/post',method='POST',callback=self.parse_post) def parse(self, response): pass def parse_post(self,response): print("hello",response.text) 输出结果为;
2018-08-03 14:48:06 [scrapy.core.engine] DEBUG: Crawled (200)
阅读更多相关文章推荐
- 利用JS使用POST方式提交请求的方法
- scrapy爬虫框架安装与应用(包括post请求、递归访问http)
- java利用post方法请求网络接口
- 利用ASIHttpRequest框架进行网络数据请求(二)—— 利用post发送表单请求数据
- Android Volley网络请求框架 实现post方法并带Map参数上传
- Android Volley网络请求框架 实现post方法并带Map参数上传
- Android开发中使用Volley框架发送请求的get和post方法
- CI框架中,判断post,ajax,get请求的方法
- Android网络框架-Volley(四) 使用get和post方法发送json请求
- CI框架中,判断post,ajax,get请求的方法
- Go语言中利用http发起Get和Post请求的方法示例
- 利用JS使用POST方式提交请求的方法
- 利用JS使用POST方式提交请求的方法
- Android Volley网络请求框架 实现post方法并带Map参数上传
- C# Asp.net中的AOP框架 Microsoft.CCI, Mono.Cecil, Typemock Open-AOP API, PostSharp -摘自网络 (可以利用反射 Attribute 进行面向切面编程 可以用在记录整个方法的Log方面)
- 利用python模拟实现POST请求提交图片的方法
- android利用httpclient实现post、get请求restful接口进行json和form表单数据提交等公共方法类
- 利用JS使用POST方式提交请求的方法
- 利用Anaconda简单安装scrapy框架的方法