Python中使用socket发送HTTP请求数据接收不完整问题解决方法
2015-02-04 09:38
1441 查看
由于工作的需求,需要用python做一个类似网络爬虫的采集器。虽然Python的urllib模块提供更加方便简洁操作,但是涉及到一些底层的需求,如手动设定User-Agent,Referer等,所以选择了直接用socket进行设计。当然,这样的话,需要对HTTP协议比较熟悉,HTTP协议这里就不做讲解了。整个python的代码如下:
#!/usr/bin env python import socket host="www.baidu.com" se=socket.socket(socket.AF_INET,socket.SOCK_STREAM) se.connect((host,80)) se.send("GET / HTTP/1.1\n") se.send("Accept:text/html,application/xhtml+xml,*/*;q=0.8\n") #se.send("Accept-Encoding:gzip,deflate,sdch\n") se.send("Accept-Language:zh-CN,zh;q=0.8,en;q=0.6\n") se.send("Cache-Control:max-age=0\n") se.send("Connection:keep-alive\n") se.send("Host:"+host+"\r\n") se.send("Referer:http://www.baidu.com/\n") se.send("user-agent: Googlebot\n\n") print se.recv(1024)
代码运行正常,但是发现一个比较重要的问题,运行结果只返回了HTTP的头部信息,网页的内容则没有被返回。网上查找了很多资料,一无所获,经过一夜的思考,突然想到了一个问题,有可能我请求的资源非常大,一个网络的IP包的大小,它是受很多因素制约的,最典型的便是MTU(最大传输单元),那么会不会我请求的数据被分割了,HTTP的头部信息只是一部分,其它数据还在传输或者缓冲区呢?于是做了这样一个遍历:
while True: buf = se.recv(1024) if not len(buf): break print buf
这样发现所有请求的数据均被返回了,看来要想做好网络编程,深入理解TCP/IP协议是非常必要的。
您可能感兴趣的文章:
相关文章推荐
- Python中使用socket发送HTTP请求数据接收不完整问题解决方法
- C++编程笔记:使用WinHTTP实现HTTP访问(解决接收UTF8数据乱码问题)
- Ajax核心XMLHttpRequest对象、(发送请求、接收)方法和属性介绍、AJAX开发框架、数据格式提要(XML、JSON、HTML)
- angular的$http.post()提交数据到Java后台接收不到参数值问题的解决方法
- 关于TP5使用GuzzleHttp发送请求遇到的问题解决
- 解决angular的$http.post()提交数据时后台接收不到参数值问题的方法
- 解决angular的$http.post()提交数据时后台接收不到参数值问题的方法
- C#请求http向网页发送接收数据的方法
- 使用 Socket 类向 HTTP 服务器发送数据和接收响应。
- 利用python的socket发送http(s)请求方法示例
- [Socket网络编程]由于套接字没有连接并且(当使用一个 sendto 调用发送数据报套接字时)没有提供地址,发送或接收数据的请求没有被接受。
- python使用socket向客户端发送数据的方法
- 解决angular的$http.post()提交数据时后台接收不到参数值问题的方法
- Ajax核心XMLHttpRequest对象、(发送请求、接收)方法和属性介绍、AJAX开发框架、数据格式提要(XML、JSON、HTML)
- 安卓使用Socket发送中文,C语言服务端接收乱码问题解决方式
- C++编程笔记:使用WinHTTP实现HTTP访问(解决接收UTF8数据乱码问题)
- 百度地图API 云存储·LBS.云 跨域问题解决方法——通过java.net.URLConnection发送HTTP请求
- 解决Xcode7 使用NSURLSession发送HTTP请求时报错问题
- 使用Outlook发送邮件至移动设备导致移动设备接收winmail.dat问题解决方法
- Ajax核心XMLHttpRequest对象、(发送请求、接收)方法和属性介绍、AJAX开发框架、数据格式提要(XML、JSON、HTML)