【转】 python socket向百度发送http长连接请求 并做搜索

http://hi.baidu.com/leejun_2005/blog/item/30fe9bd23a396c28960a1640.html【转】 python socket向百度发送http长连接请求 并做搜索2011-10-08 22:13转载自 冷子健最终编辑 leejun_2005

#coding=gbk ''' socket 给百度发送http请求 连接成功后，发送http的get请求，所搜索功能 ''' import socket import sys import time if __name__=='__main__': #创建套接字 try : sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) except socket.eorror,e: print 'socket false:%s'%e print 'socket ...' #连接百度ip try : sock.connect(('220.181.111.148',80)) except socket.error,e: print 'connect false %s'%e sock.close() print 'connect ...' #发送百度首页面请求并且保持连接 try : print 'send start...' str='GET / HTTP/1.1\r\nHost:www.baidu.com\r\nConnection:keep-alive\r\n\r\n' sock.send(str) except socket.eorror,e: print 'send false' sock.close() data='' data = sock.recv(1024) while (1): '''如何判断数据接收完毕，在发送http 最前端, 包含发送数据文件大小属性Content-Length， 用字符匹配方式取得文件大小, 同过大小判断是否接收完毕。 ''' print data beg = data.find('Content-Length:',0,len(data)) end = data.find('Content-Type:',0,len(data)) print beg print end if(beg == end): print 'connecting closed' break num = long(data[beg+16:end-2]) print num nums = 0 while (1): data=sock.recv(1024) print data nums +=len(data) if(nums >= num): break word = raw_input('please input your word----->') str='''GET /s?wd=''' + word + ''' HTTP/1.1 Host:www.baidu.com Connection: Keep-Alive ''' print str sock.send(str) data = '' data = sock.recv(1024) sock.close() print data +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ 用python搜索google from：http://ipython.iteye.com/blog/336304 如果直接用urllib.urlopen(url)会返回一个forbidden的，其实加一个add_header就可以了. 给出一个关键字 word 就会返回搜索结果了。 import urllib import urllib2 def search(word): url=r'http://www.google.cn/search?hl=zh-CN&newwindow=1&q='+word+"&start=10&sa=N" req=urllib2.Request(url) req.add_header("User-Agent",'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322)') opener=urllib2.build_opener() text=opener.open(req).read() return text python通过socket查询whois脚本 from:http://www.oschina.net/code/snippet_54100_2870 import socket s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) s.connect(("whois.networksolutions.com", 43)) s.send("sina.com.cn \r\n") while 1: v = s.recv(1024) if v == "" or v == None: break print v s.close() 基于Apache Mina实现的TCP长连接和短连接实例 http://blog.csdn.net/peterwanghao/article/details/6900523

Socket理解。

/article/2322053.html

http://www.vckbase.com/document/viewdoc/?id=1856

如何创建和使用socket链接池


作者：吴康彬

采用CS方式的程序不可避免都要碰到socket连接的问题，很多时候，使用编程语言当中自带的socket库，使用起来多少有些不习惯，虽然系统自带的库在很多异常处理，稳定性上下了很多功夫，但是要去理解和使用那些库，比如做socket连接池不免要走很多弯路。在这里我和大家讨论下怎么样创建和使用socket链接池。
一般socket链接有以下两种方式：长（常）链接和短链接。
长链接：当数据发送完成后socket链接不断开。一直保留到异常或者是程序退出为止，这种方式的好处是不用每次去发起连接断开，在速度上可以比短连接要快一些，但是相对来说对服务器的资源压力也要大些。长链接用的范围很广，比如游戏系统，qq等等，长（常）链接一般还需要定时向服务器ping数据，以保证socket链接畅通。当ping不通服务器时，需要重新开启链接。
短链接：当一次数据发送完毕后，主动断开链接，每次发送数据都要一次链接、断开操作，这种方式的好处是：对服务器的资源占用相对来说比较小，但是由于每次都要重新链接，速度开销上也比较大，这种方式对于那种不需要经常与服务器交互的情况下比较适用。
上面两种方法在用户量非常大的情况下都存在着很大的不足，因此，我们考虑可以用一种折衷的办法，那就是使用socket的连接池。
程序一开始初始化创建若干数量的长链接。给他们设置一个标识位，这个标识位表示该链接是否空闲的状态。当需要发送数据的时候，系统给它分配一个当前空闲的链接。同时，将得到的链接设置为“忙”，当数据发送完毕后，把链接标识位设置为“闲”，让系统可以分配给下个用户，这样使得两种方式的优点都充分的发挥出来了。杭州携购网络科技有限公司旗下的携购独立购物网(http://www.shopxg.com)系统采用的就是这种方式。用户数量足够多的时候，只需要动态增加链接池的数量即可。
下面我们用具体的程序来讲解下：
首先我们声明一个socket类：