python学习之【16】网络编程

主题

客户端/服务器架构

套接字:通信终点

套接字地址

面向连接与无连接套接字

Python中的网络编程

SOCKET模块

套接字对象方法

TCP/IP客户端和服务器

UDP/IP客户端和服务器

SocketServer模块

Twisted框架介绍

相关模块

1.客户端服务器架构

客户<---->INTERNET<------->服务器。客户连上一个预先已知的服务器，提出自己的请求，发送必要的数据，然后就等待服务器返回的数据。

2.套接字:通信终点
套接字是一种具有"通信端点"概念的计算机网络数据结构。网络化的应用程序在开始任何通讯之前都需要创建套接字、就像电话插口一样，没有它就会完全没办法通信。Python只支持AF_UNIX,AF_NETLINK,AF_INET家族，由于我们只关心网络编程所以我们都只用AF_INET。

3.套接字地址
如果把套接字比作电话接口----------即通信的最底层结构，那主机与端口就像区号与电话号码的一对组合。有了电话还不够，你还要知道你要打电话给谁，往哪打。一个因特网地址由网络通信所必须的主机和端口组成，而且另一端一定要有人听才可以。
合法的端口号范围为0~65535，其中，小于1024的端口号为系统保留端口。
4.面向连接与无连接套接字
(1)面向连接
无论使用哪个地址家族，套接字的类型只有两种，面向连接和无连接。面向连接即是在通信前必须建立一条连接，就像跟朋友打电话一样。实现这种连接的主要协议就是传输控制协议(TCP)，要创建TCP套接字就得在创建的时候指定套接字类型为SOCK_STREAM。TCP套接字采用SOCK_STREAM这个名字体现了它最为流套接字的特点，由于这些套接字使用网际协议(ip)来查找网络中的主机，所以这样形成的整个系统，一般会有两个协议(TCP和IP)名的组合来描述，即TCP/IP。
(2)无连接
即无需连接就可以进行通信。但这时，数据到达的顺序、可靠性及不重复性就无法保证了。数据是整个发送的，不会像面向连接的协议那样先被拆分成小块。
实现这种连接的主要协议就是用户数据报协议(UDP)。要创建UDP套接字就得在创建的时候指定套接字类型为SOCK_DGRAM。"datagram"是"数据报"。

5.Python中的网络编程
我们将使用Python中的socket模块，模块中的socket()函数用来创建套接字。要使用socket.socket()函数来创建套接字，语法如下:
socket.socket(socket_family,socket_type,protocol=0)
如前所述,Socket_family 不是 AF_VNIX 就是 AF_INET ,socket_type可以是SOCK_STREAM或是SOCK_DGRAM,protocol一般不填，默认为0。
6.SOCKET模块
例如创建一个TCP/IP的套接字，你要这样调用socket.socket()函数:
tcpSock = socket.socket(socket.AF_INET,socket.SOCKET_STREAM)

UDP/IP的套接字
udpSock = socket.socket(socket.AF_INET,socket.SOCKET_DGRAM)
由于socket模块中有太多的属性，我们在这里可以使用 “from module import *”的语句,我们就把socket模块里所有属性都带到我们的命名空间里了。
tcpSock = socket(AF_INET,SOCKET_STREAM)

7.套接字对象(内建)方法
函数 描述
服务器端套接字函数

s.bind( ) 绑定地址(主机名，端口号对)到套接字

s.listen( ) 开始TCP监听

s.accept( ) 被动接受TCP客户端连接，（阻塞式）等待连接的到来。

客户端套接字函数

s.connect( ) 主动初始化TCP服务器连接。

s.connect_ex( ) connect( )扩展版本，出错时返回错误码，而不是抛出异常。

公共用途的套接字函数

s,recv( ) 接受TCP数据。

s.send( ) 发送TCP数据。

s.sendall( ) 完整发送TCP数据。

s.recvfrom( ) 接受UDP数据。

s.sendto( ) 发送UDP数据。

s.getpeername( ) 连接到当前套接字的远程的地址(TCP连接)

s.getsockname( ) 当前套接字的地址。

s.getsockopt( ) 返回当前套接字的参数。

s.setsockopt( ) 设置指定套接字的参数。

s.close( ) 关闭套接字。

面向模块的套接字函数

s.setblocking( ) 设置套接字的阻塞与非阻塞模式。

s.settimeout( ) 设置阻塞套接字操作的超时时间。

s.gettimeout( ) 得到阻塞套接字操作的超时时间。

面向文件套接字函数

s.fileno( ) 套接字文件描述符。

s.makefile( ) 创建一个与该套接字关联的文件对象。

8.TCP/IP客户端和服务器
TCP服务器设计伪代码:
ss = socket() #创建服务器套接字
ss.bind() #把地址绑定到套接字上
ss.listen() #监听连接
inf_loop: #服务器无线循环
cs = ss.accept() #接受客户端连接
comm_loop: #通信循环
cs.recv()/cs.send() #对话（接收与发送）
cs.close() #关闭客户端套接字
ss.close() #关闭服务器套接字(可选)

所有套接字都用socket.socket( )函数来创建。服务器需要"坐在某个端口上"等待请求。所以它们必须要"绑定"到一个本地的地址上。一个简单的(单线程)服务器会调用accept( )函数等待连接的到来。默认情况下，accept( )函数是阻塞式的，即程序在连接到来之前会处于挂起状态。套接字也支持非阻塞状态。
TCP时间戳服务器(tsTserv.py)
创建一个能接受客户端的消息，在消息前加一个时间戳后返回TCP服务器

from socket import *
from time import ctime
HOST = ''
PORT = 21567
BUFSIZE = 1024
ADDR = (HOST,PORT)

tcpSerSock = socket(AF_INET,SOCK_STREAM)
tcpSerSock.bind( ADDR)
tcpSerSock.listen(5)

while True:
print 'waiting for connection......'
tcpCliSock,addr = tcpSerSock.accept( )
print '......connected from:',addr

while True:
data = tcpCliSock.recv(BUFSIZ)
if not data:
break
tcpCliSock.send('[%s]%s' %(ctime(),data))
tcpCliSock.close( )
tcpSerSock.close()

创建TCP客户端
伪代码:
cs = socket( ) #创建客户端套接字
cs.connect( ) #尝试连接服务器
comm_loop:
cs.send( )/cs.recv( ) #对话(发送/接收)
cs.close( ) #关闭客户端套接字

TCP时间戳客户端(tsTclnt.py)

from socket import *

HOST = 'localhost'
PORT = 21567
BUFSIZ = 1024
ADDR = (HOST,PORT)

tcpCliSock = socket(AF_INET,SOCK_STREAM)
tcpCliSock.connect(ADDR)

while True:
data = raw_input('>')
if not data:
break
tcpCliSock.send(data)
data = tcpCliSock.recv(BUFSIZ)
if not data:
break
print data

tcpCliSock.close()

9.UDP/IP客户端和服务器

UDP时间戳服务器(tsUserv.py)

from socket import *
from time import ctime

HOST = ''
PORT = 21567
BUFSIZ = 1024
ADDR = (HOST,PORT)

udpSerSock = socket(AF_INET,SOCK_DGRAM)
udpSerSock.bind(ADDR)

while True:
print 'waiting for message......'
data,addr = udpSerSock.recvfrom(BUFSIZ)
udpSerSock.sendto('[%s] %s' % (ctime,data) ,addr)
print '......received from and returned to:',addr

udpSerSock.close()

创建一个UDP客户端

from socket import *

HOST = 'localhost'
PORT = "21567"
BUFSIZ = 1024
ADDR = (HOST,PORT)

udpCliSock = socket(AF_INET,SOCK_DGRAM)

while Trus:
data = raw_input('>')
if not data:
break
udpCliSock.sendto(data,ADDR)
data,ADDR = udpCliSock.recvfrom(BUFSIZ)
if not data:
break
print data

udpCliSock.close()

10.SocketServer模块

SocketServer 是标准库中一个高级别的模块。用于简化实现网络客户端与服务器所需的大量样板代码。该模块中，已经实现了一些可供使用的类。

SocketServer模块的类

类	描述
BaseServer	包含服务器核心功能与混合(mix-in)类挂钩;这个类只用于派生，所以不会生成这个类的实例;可以考虑使用TCPServer和UDPServer
TCPServer/UDPServer	基本的网络同步TCP/UDP服务器
UnixStreamServer/UnixDatagramServer	基本的基于文件同步TCP/UDP服务器
ForkingMixIn/ThreadingMixIn	实现了核心的进程化或线程化的功能;作为混合类，与服务器类一并使用以提供一些异步特性;这个类不会直接实例化。
ThreadingTCPServer/ThreadingUDPServer	ThreadingMixIn和TCPServer/UDPServer的组合
BaseRequestHandler	包含处理服务器请求的核心功能，这个类只用于派生，所以不会生成这个类的实例可以考虑使用StreamRequestHandler 或 DatagramRequestHandler
StreamRequestHandler/DatagramRequestHandler	用于TCP/UDP服务器处理工具

创建一个SocketServerTCP服务器

在代码中，先导入我们的服务器类，然后像之前一样定义主机常量。主机常量后就是我们的请求处理器类，然后是启动代码。

例 SocketServer 时间戳TCP服务器（TsTservss.py）

from SocketServer import (TCPServer as TCP,StreamRequsetHandler as SRH)
from time import ctime

HOST = ''
PORT = 21567
ADDR = (HOST,PORT)

class MyRequestHandler(SRH):
def handle(self):
print '......connected from:',self.client_address
self.wfile.write('[%s]%s' % (ctime(),self.rfile.readline()))

tcpServ = TCP(ADDR,MyRequestHandler)
print 'waiting for connection...'
tcpServ.serve_forever( )

创建SocketServerTCP客户端

from socket import *

HOST = 'localhost'
PORT = 21567
BUFSIZ = 1024
ADDR = (HOST,PORT)

while True:
tcpCliSock = socket(AF_INET,SOCK_STREAM)
tcpCliSock.connect(ADDR)
data = raw_input('>')
if not data:
break
tcpCliSock.send('%s\r\n' %data)
data = tcpCliSock.recv(BUFSIZ)
if not data:
break
print data.strip()
tcpCliSock.close()

11.Twisted框架介绍
Twsited是一个完全事件驱动的网络框架。它允许你使用和开发完全异步的网络应用程序和协议。需要安装它，系统中可以有:网络协议、线程、安全和认证、聊天/即时通讯、数据库管理、关系数据库集成、Web/internet、电子邮件、命令行参数、图形界面集成等。

创建一个Twisted Reactor TCP服务器

Twsited Reactor事件戳服务器(tsTservTW.py)

from twisted.internet import protocol,reactor
from time import ctime

PORT = 21567

class TSServProtocol(protocol.Protocol)

-----------------------

课后题

16-1. 套接字,面向连接与无连接有何区别?
答:socket第二个参数不同。面向连接即tcp通信函数为socket.socket(socket.AF_INET,socket.SOCK_STREAM),UDP通信函数第二个参数为SOCK_DGRAM。
16-2. 客户端/服务器架构。用你自己的语言描述这个架构。并给出几个例子?
答:服务器在某端口等待客户端的连接。怎么说呢 client<------------>internet<------------->server
16-3. 套接字。TCP和UDP中，哪一种服务器在接受连接后，把连接交给不同的套接字处理与客户端的通讯。
答:TCP。
16-4. 修改TCP(tsTclnt.py)和UDP（tsUclnt.py）客户端，让服务器的名字不要在代码里写死，要允许用户指定一个主机名和端口，只有在两个值都没有输入的时候才使用默认值。
答:修改后的tsTclnt.py

from socket import *
from time import ctime

HOST = ''
PORT = 21567
BUFSIZ = 1024
ADDR = (HOST,PORT)

tcpSerSock = socket(AF_INET,SOCK_STREAM)
tcpSerSock.bind(ADDR)
tcpSerSock.listen(5)

while True:
print 'waitiing for connection...'
tcpCliSock,addr = tcpSerSock.accept()
print '...connected from:',addr

while True:
data = tcpCliSock.recv(BUFSIZ)
if not data:
break
tcpCliSock.send('[%s] %s' % (ctime(),data))

tcpSerSock.close()

16-5. 网络互联和套接字。找到《python library reference》 示例tcp客户端/服务器程序，实现它并让它运行起来。先运行服务器，然后是客户端。http://www.python.org/doc/current/lib/Socket_Example.html

你认为这个服务器太无聊，决定要修改服务器，让它能识别以下命令:

data 服务器将返回它的当前时间，即time.ctime(time.time())
os 得到操作系统的信息（os.name）
ls 得到当前目录的文件列表

做这个作业的时候，你不一定要有网络------你的机器可以自己通讯。注：在服务器退出后，要清除绑定后才能再次运行，否则有可能得碰到‘端口已经被使用’的错误信息，操作系统一般会在5分钟内清除绑定。所以请耐心等待。

服务器端

from socket import *
import time,os

HOST = ''
PORT = 21567
BUFSIZ = 1024
ADDR = (HOST,PORT)

tcpSerSock = socket(AF_INET,SOCK_STREAM)
tcpSerSock.bind(ADDR)
tcpSerSock.listen(5)

while True:
print 'waitiing for connection...'
tcpCliSock,addr = tcpSerSock.accept()
print '...connected from:',addr

while True:
data = tcpCliSock.recv(BUFSIZ)
data = data.strip()
if not data:
break
if data == "date":
tcpCliSock.send('%s' % (time.ctime(time.time())))
elif data == "os":
tcpCliSock.send('%s' % (os.name))
elif data == "ls":
tcpCliSock.send('%s' % (os.listdir(os.curdir)))
else:
tcpCliSock.send('[%s] %s' % (time.ctime(),data))

tcpSerSock.close()

16-6日期时间服务。使用socket.getservbyname()函数得到UDP协议中"daytime"服务所对应的端口。请参考getservbyname()函数的文档，查阅如何使用的详细语法。现在，写一个程序发送一个随便什么数据过去，等待回答。一旦你收到了服务器的信息，显示到屏幕上去。
答：服务端

from socket import *
from time import ctime

HOST = "localhost"

PORT = getservbyname("daytime","udp")

BUFSIZ = 1024

ADDR = (HOST,PORT)

udpSerSock = socket(AF_INET,SOCK_DGRAM)

udpSerSock.bind(ADDR)

while True:
print "waiting for message..."
data,addr = udpSerSock.recvfrom(BUFSIZ)
udpSerSock.sendto("[%s]%s" % (ctime(), data),addr)
print "...received from and returned to:",addr

udpSerSock.close

客户端

from socket import *
from time import ctime

HOST = "localhost"
PORT = getservbyname("daytime","udp")

BUFSIZ = 1024

ADDR = (HOST,PORT)

udpCliSock = socket(AF_INET,SOCK_DGRAM)

while True:
data = raw_input(">")
if not data:
break
udpCliSock.sendto(data,ADDR)
data,ADDR = udpCliSock.recvfrom(BUFSIZ)
if not data:
break
print data

tcpCliSock.close()

16-7.半双工聊天。创建一个简单的半双工聊天程序。“半双工”的意思是当创建一个连接，服务启动的时候，只有一个人可以打字，另一个人只有在等到消息通知他输入消息时才能说话。一旦消息发送出去后，要等到有回复了才能发送下一条消息。一个人是服务端，另一个人是客户端。

客户端

from socket import *

HOST = "localhost"
PORT = 23346
BUFSIZ = 1024
ADDR = (HOST,PORT)

tcpCliSock = socket(AF_INET,SOCK_STREAM)
tcpCliSock.connect(ADDR)

while True:
data = raw_input("client>")
if not data:
continue
tcpCliSock.send(data)
while True:
data = tcpCliSock.recv(BUFSIZ)
if not data:
continue
else:
print "server>",data
break

tcpCliSock.close()

服务端

from socket import *

HOST = "localhost"
PORT = 23346
BUFSIZ = 1024
ADDR = (HOST,PORT)

tcpServSock = socket(AF_INET,SOCK_STREAM)
tcpServSock.bind(ADDR)
tcpServSock.listen(5)

while True:
print "waiting for connection..."
tcpCliSock,addr = tcpServSock.accept()
print "connected from:",addr

while True:
data = tcpCliSock.recv(BUFSIZ)
if not data:
continue
print "client>",data
data = raw_input("server>")
tcpCliSock.send(data)

tcpServSock.close()

---------------------------------------------------------------------
16-8 全双工聊天。修改你刚才的程序，改成全双工，即两个人可以独立地发送和接收消息。
答：
服务端

#!/usr/bin/env python
#-*- coding:utf-8 -*-
import socket,traceback,os
from threading import *

host = 'localhost'
port = 51423     #监听所有的接口

#接受消息的线程
def handlerecv(clientsock):
print "New child",currentThread().getName()
print "Got connection from",clientsock.getpeername()
while True:
data = clientsock.recv(4096)
if not len(data):
break
print data
clientsock.close()

#发送消息的线程
def handlesend(clientsock):
while True:
data = raw_input(">")
data = data + "\n";   #加上换行，好看一点。
clientsock.sendall(data)
#关闭连接
clientsock.close()

#建立套接字
s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)
s.bind((host,port))
s.listen(1)

while True:
try:
clientsock,clientaddr = s.accept()
except KeyboardInterrupt:
raise
except:
traceback.print_exc()
continue

t = Thread(target = handlerecv,args=[clientsock])
t.setDaemon(1)
t.start()

r = Thread(target = handlesend,args=[clientsock])
r.setDaemon(1)
r.start()

客户端

#!/usr/bin/env python
#-*-coding:utf-8-*-

from socket import *
import sys
from threading import *

if(len(sys.argv) < 3):
HOST = 'localhost'
PORT = 51423
else:
HOST = sys.argv[1]
PORT = int(sys.argv[2])

BUFSIZ = 1024
ADDR = (HOST,PORT)

def handlesend(tcpCliSock):
while True:
sdata = raw_input('> ')
if not sdata:
break
tcpCliSock.send(sdata)

tcpCliSock.close()

tcpCliSock = socket(AF_INET,SOCK_STREAM)
tcpCliSock.connect(ADDR)

#建立发送消息的线程
s = Thread(target = handlesend,args=[tcpCliSock])
s.setDaemon(1)
s.start()

while True:
rdata = tcpCliSock.recv(BUFSIZ)
if not rdata:
break
print rdata
tcpCliSock.close()

------------------------------------------------------------------

16-9----10 多用户全双工聊天。再次修改你的程序，把聊天服务改成支持多用户版本。(扩展功能多人，多房间，多线程，全双工)

服务端 cs.py

#!/usr/bin/env python
# _*_ coding: utf8 _*_

from socket import *
from time import ctime
import threading
from string import split

HOST = ''
PORT = 21567
BUFSIZE = 1024
ADDR = (HOST, PORT)

def Deal(sck, username, room):
while True:
data = sck.recv(BUFSIZE)
for i in  clients[room].iterkeys():
if i <> username:
if data <> "quit":
clients[room][i].send("[%s] %s: %s" %(ctime(), username, data))
else:
clients[room][i].send("用户%s在%s退出房间%s" %(username, ctime(), room ))
if data == "quit":
del clients[room][username]
sck.send(data)
sck.close()
break

chatSerSock = socket(AF_INET, SOCK_STREAM)
chatSerSock.bind(ADDR)
chatSerSock.listen(5)

clients = {"":{},}

while True:
print 'waiting for connection...'
chatCliSock, addr = chatSerSock.accept()
print "...connected romt: ", addr
data = chatCliSock.recv(BUFSIZE)
username, room = split(data)
print username
if not clients.has_key(room):
clients[room] = {}
if clients[room].has_key(username):
chatCliSock.send("reuse")
chatCliSock.close()
else:
chatCliSock.send("success")
clients[room][username] = chatCliSock
t = threading.Thread(target=Deal, args=(chatCliSock, username, room))
t.start()

chatSerSock.close()

客户端 cc.py

#!/usr/bin/env python
# _*_ coding: utf8 _*_

from socket import *
from time import ctime
import threading
import random
from sys import argv, exit, stdout
from getopt import gnu_getopt, GetoptError

help_info = ["cs.py [ -h | --help | -u | --username] username",
"\t-h or --help\t显示帮助信息",
"\t-u or --username\指定用户名",
"\t-r or --room\t指定房间"]
def help():
for i in help_info:
print i

def Send(sck, test):
while True:
data = raw_input('>')
sck.send(data)
if  data == "quit":
break
def Recieve(sck, test):
while True:
data = sck.recv(BUFSIZ)
if data == "quit":
sck.close()
break
str = "\n" + data + "\n>"
stdout.write(str)

HOST = 'localhost'
PORT= 21567
BUFSIZ = 1024
ADDR = (HOST, PORT)
threads = []

if __name__ == "__main__":
# 解析命令行参数
try:
opts, args = gnu_getopt(argv[1:], "hu:r:", ["help", "username=", "room="])
except GetoptError, err:
print str(err)
help()
exit(2)
username = ""
room = ""
for o, a in opts:
if o in ("-h", "--help"):
help()
exit(0)
elif o in ("-u", "--username"):
username = a
elif o in ("-r", "--room"):
room = a
else:
print "未知选项"
help()
exit(2)
if not username or not room:
help()
exit(2)
chatCliSock = socket(AF_INET, SOCK_STREAM)
chatCliSock.connect(ADDR)
chatCliSock.send("%s %s" %(username, room))
data = chatCliSock.recv(BUFSIZ)
if data == "reuse":
print "用户%s已登录房间%s" %(username, room)
raw_input()
exit(1)
elif data == "success":
print "用户%s成功登录房间%s" %(username, room)
t = threading.Thread(target=Send, args = (chatCliSock, None))
threads.append(t)
t = threading.Thread(target=Recieve, args = (chatCliSock, None))
threads.append(t)
for i in range(len(threads)):
threads[i].start()
threads[0].join()