[转]一小时学会用Python Socket 开发可并发的FTP服务器！！

转自：http://3060674.blog.51cto.com/3050674/1687308

-----------------------------------------------------------------------------------



socket是什么
什么是socket所谓socket通常也称作"套接字"，用于描述IP地址和端口，是一个通信链的句柄。应用程序通常通过"套接字"向网络发出请求或者应答网络请求。说白了就是一种通信机制。它类似于银行，电信啊这些部分的电话客服部门。你打电话的时候，那边会分配置一个人回答你的问题，客服部门就相当于socket的服务器端了，你这边呢就相当于客户端了，在和你通话结束前，如果有人在想找和你通话的那个说话，是不可能的，因为你在和他通信，当然客服部门的电话交换机也不会重复分配。我们天天用的http\smtp\ftp等网络协议都是基于socket的上层实现，无论使用何种网络协议，最本质上都是在进行数据的接收和发送，只不过发送的数据类型和内容不同罢了，“发送”和“接收”这两个动作就是socket处理数据的主要方式。
socket起源于Unix，而Unix/Linux基本哲学之一就是“一切皆文件”，都可以用“打开open–>读写write/read–>
关闭close”模式来操作。Socket就是该模式的一个实现，socket即是一种特殊的文件，一些socket函数就是对其进行的操作（读/写IO、打开、关闭），python的socket模块是直接调用的unix的socket库，接下来我们一起来看下，如何在python下实现socket。

使用socket时需要指定Socket Family（地址簇），包括以下几种：
socket.AF_UNIX
只能够用于单一的Unix系统进程间通信
socket.AF_INET
用于主机之间的网络通信
socket.AF_INET6 IPv6通信
若想实现主机之间的通信，我们就得使用socket.AF_INET

确认地址簇后，还需要指定socket数据类型
socket.SOCK_STREAM
流式socket, for TCP
socket.SOCK_DGRAM
数据报式socket, for UDP
socket.SOCK_RAW
原始套接字，普通的套接字无法处理ICMP、IGMP等网络报文，而SOCK_RAW可以；其次，SOCK_RAW也可以处理特殊的IPv4报文；此外，利用原始套接字，可以通过IP_HDRINCL套接字选项由用户构造IP头。
socket.SOCK_RDM
是一种可靠的UDP形式，即保证交付数据报但不保证顺序。SOCK_RAM用来提供对原始协议的低级访问，在需要执行某些特殊操作时使用，如发送ICMP报文。SOCK_RAM通常仅限于高级用户或管理员运行的程序使用。
socket.SOCK_SEQPACKET 可靠的连续数据包服务

我们主要用的一般是SOCK_STREAM (for TCP)和SOCK_DGRAM（for UDP）.




进行socket调用时可能会用到的函数：

s = socket(family,type[,protocal]) 使用给定的地址族、套接字类型、协议编号（默认为0）来创建套接字。



套接字的实例具有以下方法：

s.bind(address) 将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下，以元组（host,port）的形式表示地址。

s.listen(backlog) 开始监听传入连接。backlog指定在拒绝连接之前，操作系统可以挂起的最大连接数量。该值至少为1，大部分应用程序设为5就可以了。

s.connect(address) 连接到address处的套接字。一般，address的格式为元组（hostname,port），如果连接同一台机器上的服务器，可以将hostname设为‘localhost’。如果连接出错，返回socket.error错误。

s.connect_ex(adddress) 功能与connect(address)相同，但是成功返回0，失败返回errno的值。

s.accept() 接受连接并返回（conn,address）,其中conn是新的套接字对象，可以用来接收和发送数据。address是连接客户端的地址。

s.close() 关闭套接字。

s.fileno() 返回套接字的文件描述符。

s.getpeername() 返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。

s.getsockname() 返回套接字自己的地址。通常是一个元组(ipaddr,port)

s.getsockopt(level,optname[.buflen]) 返回套接字选项的值。

s.gettimeout() 返回当前超时期的值，单位是秒，如果没有设置超时期，则返回None。

s.recv(bufsize[,flag]) 接受套接字的数据。数据以字符串形式返回，bufsize指定要接收的最大数据量。flag提供有关消息的其他信息，通常可以忽略。

s.recvfrom(bufsize[.flag]) 与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。

s.send(string[,flag]) 将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。

s.sendall(string[,flag]) 将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。

s.sendto(string[,flag],address) 将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。

s.setblocking(flag) 如果flag为0，则将套接字设为非阻塞模式，否则将套接字设为阻塞模式（默认值）。非阻塞模式下，如果调用recv()没有发现任何数据，或send()调用无法立即发送数据，那么将引起socket.error异常。

s.setsockopt(level,optname,value) 设置给定套接字选项的值。

s.settimeout(timeout) 设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如connect()）普通的非套接字实例的函数

getdefaulttimeout()返回默认的套接字超时时间（以秒为单位）。None表示不设置任何超时时间。

gethostbyname(hostname) 将主机名（如“www.baidu.com”）转换为IPv4地址，IP地址将以字符串的形式返回，如“8.8.8.8”。不支持IPv6

gethostname() 返回本地机器的主机名。



正式写代码了噢！！！

下面实现一下最简单的socket 通信：



这样我们就能实现服务端和客户端1对1来通信了，但是你会发现，只要客户端一中断，服务器也跟着中断了，这样显然是不合理的，一个客户端断开了，服务端应该能持续为其它客户端提供服务才对。 那服务端为啥会跟着客户端一起关闭呢，因为服务端代码中

如果收不到客户端的数据，就跳出循环，我们可以把代表调整成如下:

这样如果一个客户端连接断开了，最里面的那个循环会跳出，就又回到第一层的while循环，

上面的accept()方法会继续等待一个新的连接进来，这样，服务端就可以持续不断的为客户端提供服务了。

解决了不能持续提供服务的问题后，新问题又来了，当你启动服务端后，同时再启动2个客户端，你会发现，只能有一个客户端跟服务端不断的通信，另一个客户端会一直处在挂起状态，当你把可以通信的客户端断开后，你会发现第2个客户端就可以跟服务端进行通信了。 这是为什么呢？哈哈，因为你的服务端同时只能为一个客户提供服务呀。就像你跟一个人在说话的同时，是不能同时跟其它人说话的，对么？





其实想让你的服务端口可以同时为与多个客户端进行通信也很简单，直接用多线程并发就好了，什么？你不会写多线程?没关系，Python已经帮你实现了，你只需要调用一个叫SocketServer的模块就好了。下面咱们就把刚才的单线程socket服务端变成多线程的：

好了，此时再多启动几个客户端，看看是不是所有的客户端都能同时跟服务器端通信啦。

接下来我们看看怎么通过socket模拟实现一个ftp server，允许客户端上传和下载文件。

FTP客户端

服务器端

好了， 这样客户端就能从服务器端上下载文件啦！ 当然现在只要下载的功能，不过上传、查看文件列表的业务逻辑基本是跟这个差不多的，大家可以自己进行扩展，当然，如果要真想模拟ftp的功能更全面些，还得加上用户认证，权限认证，可切换目录，可对用户进行上传空间配额，可允许传目录，可实现多用户并发等更多细节功能，我的git里有一个例子，包含了用户认证，限制用户只能在自己的家目录活动，允许用户自主切换目录等，大家可以自己先写，没思路的话再参考我的代码。

完整代码 ：https://github.com/triaquae/py_training/tree/master/sample_code/ftp_sample

* 注：有的同学问，这个多线程可支持多少用户并发呢？回答是支持不了多少，当然我也没实际测试过具体多少个，估计不会超过几百个，因为Python 的多线程是不能利用多核优势的，所以我们看到的并发其实本质上还是串行的，只不是cpu不断的在不同线程之间进行切换运行而已，但由于GIL要保证线程安全的原因，无论你生成多少个线程，Python的GIL只允许同一时间只有一个线程真正运行。如果真要实际多并发，采用异步的方式会是一个好方法，有机会我在跟大家分享下如何利用异步Select\Epoll来实际Socket的并发吧！

有兴趣的同学可以加入我的Python自动化讨论群（29215534），共同学习呵呵。。。。