TCP网络程序的基本框架

这段时间看了不少网络程序的代码,也动手写了几个server/client.总结一下,大部分网络程序使用的是tcp,用udp只有3个理由,
1.允许一定的包丢失
2.需要做nat穿透
3.节省资源,如socket句柄.

而大多数应用层通讯协议,特别是数据量传输比较大的,为了效率和可靠性都会采用tcp.而TCP是流结构,应此要考虑2种情况:
1.发送数据被阻塞
2.接受包不完整或者多余.
虽然tcp是stream,但是为了解析网络数据都是基于二进制封包或者基于文本的token形式存在. 对二进制的封包来说,一般结构如下:
struct Pack
{
char magic_num;
char pack_type;
int size;
char *data;
};
因为这样的结构,网络程序想要防止抓包,破解基本上很难.网游外挂光靠技术手段是没有什么用的.
下面用python写了段伪码,无论是阻塞还是非阻塞,单线程还是多线程,基本上都应该采用如下的框架.

class CSocket:
BUF_SIZE=(1024*16)
def __init__(self):
self.revbuf=[]
self.sedbuf=[]
self.handle=0

def handleError(self,e):
print e

def handleClose(self):
pass

def handleSend(self):
try:
send_bytes=self.handle.send(self.sedbuf)
self.sedbuf=self.sedbuf[send_bytes:]
#从buffer 中删除发送过的数据
except Exception,e:
self.handleError(e)

def handleRecv(self):
try:
data = self.handle.recv(BUF_SIZE)
if len(data)==0:
self.handleClose()
return
else:
self.revbuf.append(data)
while self.revbuf:
read_bytes,need_more = self.processPacket()

if need_more:
break #当前buffer中的数据不是一个完整的数据包
else:
sef.revbuf=self.revbuf[read_bytes:]#从buffer中删掉解析过的数据

except Exception,e:
self.handleError(e)

def processPacket(self):
#解析封包,假设封包的魔法数是ox3a
if self.revbuf[0]!=0x3a:
return len(self.revbuf),True
#错误的数据,丢弃整个buffer
#advanced process.
pass

def Send(self,data):
self.sedbuf.append(data)
self.handleSend()

需要说明的是:
1.Send可以显示的调用,但是recv则不行,你不能确定在什么时候能够收到,如果用轮询的方式,
while RecvData():
sleep(100)
会把整个线程给"锁"住,除非你使用单独的线程来处理,比较合理的方法是使用non-blocking io,用select或者poll来管理socket句柄.当数据到来的时候,系统会发出通知.

2.在windows平台,如果你使用重叠IO,就不需要sendbuf,这样可以减少一次内存copy,
可以直接在栈里面定义一个buffer,扔给WSARecv,windows会替你管理这块内存.
------------------------------------------------------------------------------------------------------------
题外话:dudu能不能修改一下编辑器,支持wiki类似的语法,这样编辑,排版简单有效,现在这个不太好用,经常要去手工改html标签.