运维学python之爬虫中级篇（四）网络编程

网络编程，对所有开发语言来说都是一样的，python也不例外。使用python进行网络编程时，其实是在python程序本身的进程内，连接到指定服务器进程通信端口进行通信，所以网络通信也可以称作进程间通信。

1 socket

提到网络编程，我们就不得不提socket（套接字），打开一个socket需要知道目标ip和端口，再指定协议类型即可，应用程序通常通过"套接字"向网络发出请求或者应答网络请求，使主机间或者一台计算机上的进程间可以通讯。python提供了两个socket模块：

低级别的网络服务支持基本的 Socket，它提供了标准的 BSD Sockets API，可以访问底层操作系统Socket接口的全部方法。

高级别的网络服务模块 SocketServer， 它提供了服务器中心类，可以简化网络服务器的开发。

1.1 socket类型

创建socket格式：socket([family[, type[, proto]]])

family: 套接字家族可以使AF_UNIX或者AF_INET

type: 套接字类型可以根据是面向连接的还是非连接分为SOCK_STREAM或SOCK_DGRAM

protocol: 一般不填默认为0.

Socket类型	说明
socket.AF_UNIX	只能够用于单一的Unix系统进程间通信
socket.AF_INET	服务器之间网络通信指定使用IPv4协议
socket.AF_INET6	服务器之间网络通信指定使用IPv6协议
socket.SOCK_STAEAM	流式socket，用于TCP
socket.SOCK_DGRAM	数据报式socket，用于UDP
socket.SOCK_RAW	原始套接字，普通的套接字无法处理ICMP\IGMP等网络报文，而此套接字可以，其次，此套接字也可以处理特殊的ipv4报文，此外，利用原始套接字，可以通过IP_HDRINCL套接字选项，由用户构造ip头。
socket.SOCK_SEQPACKET	可靠的连续数据包服务
创建TCP socket	s = socket.socket(socket.AF_INET, socket.SOCK_STAEAM)
创建UDP socket	s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

1.2 socket对象内建方法

图片来源

2 编程流程

2.1 TCP编程

网络编程包括服务端和客户端两部分，主动发起连接的是客户端，被动响应的叫服务端。
TCP服务端创建和运行步骤如下：

创建socket，绑定本地ip和端口；

开始监听；

不断接收客户端请求；

接收数据后，发送给对方数据；

传输完毕，关闭socket

# -*- coding: utf-8 -*-

import time
import socket
import threading

def dealtcp(sock, addr):
"""
接收传来的数据，并发送给对方数据
"""
print('Accept new connection from %s:%s' % addr)
# 发送数据
sock.send(b'Hello, I am server')
# 循环接收数据
while True:
# 每次接收1024字节
data = sock.recv(1024)
# 等待1s
time.sleep(1)
# 如果data为空或客户端发送过来exit循环中断
if not data or data.decode('utf-8') == 'exit':
break
print('客户端发来的数据：%s' % data.decode('utf-8'))
sock.send(('Hello, %s!' % data.decode('utf-8')).encode('utf-8'))
# 关闭socket
sock.close()
print('Connection from %s:%s closed.' % addr)

if __name__ == '__main__':
# 创建一个基于IPv4和TCP协议的Socket：
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 绑定本地ip和端口
s.bind(('127.0.0.1', 8000))
# 监听端口，传入的参数表示等待连接的最大连接数
s.listen(10)
print('Waiting for connection...')
# 等待连接
while True:
# accept等待连接进入，返回新的socket和ip:端口
sock, addr = s.accept()
# 创建线程执行
t = threading.Thread(target=dealtcp, args=(sock, addr))
# 启动线程
t.start()

TCP客户端创建和运行步骤如下：

创建socket

连接服务端接收发送数据

传输完毕，关闭socket

# -*- coding: utf-8 -*-
import socket

# 创建基于tcp和ipv4协议的socket
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 与服务端建立连接
s.connect(('127.0.0.1', 8000))
print('接收到的服务端数据：%s' % s.recv(1024).decode('utf-8'))
# 分别发送三个数据
for data in [b'client1', b'client2', b'client3']:
s.send(data)
print('服务端又返回来的数据：%s ' % s.recv(1024).decode('utf-8'))
s.send(b'exit')
# 关闭socket
s.close()

运行结果如下：
服务端

Waiting for connection...
Accept new connection from 127.0.0.1:61544
客户端发来的数据：client1
客户端发来的数据：client2
客户端发来的数据：client3
Connection from 127.0.0.1:61544 closed.

客户端

接收到的服务端数据：Hello, I am server
服务端又返回来的数据：Hello, client1!
服务端又返回来的数据：Hello, client2!
服务端又返回来的数据：Hello, client3!

2.2 UDP编程

TCP通讯是可靠连接的过程，而UDP则是面向无连接的协议，不需要建立连接，只需要知道对方ip和端口，就直接发送数据，也不关心是否到达，也正是如此，UDP速度比TCP快。使用UDP也有客户端和服务端。
服务端创建和运行：

创建socket，绑定ip和端口

直接发送和接收数据

关闭socket

# -*- coding: utf-8 -*-

import socket

# 创建基于ipv4和UDP协议的socket
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
# 绑定IP和端口
s.bind(('127.0.0.1', 9000))
print('Bind udp on 9000...')
while True:
# recvfrom为接收UDP数据,接收到数据和客户端ip：端口
data, addr = s.recvfrom(1024)
print('Received from %s:%s' % addr)
# sendto发送UDP数据，注意sendto发送格式为将数据发送到套接字，address是形式为（ipaddr，port）的元组
s.sendto(b'Hello, %s' % data, addr)

客户端：

# -*- coding: utf-8 -*-

import socket
# 创建基于ipv4和UDP协议的socket
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
# 直接发送和接收数据
for data in [b'client1', b'client2']:
s.sendto(data, ('127.0.0.1', 9000))
print('Received %s' % s.recv(1024).decode('utf-8'))
s.close()

返回结果
服务端：

Bind udp on 9000...
Received from 127.0.0.1:65008
Received from 127.0.0.1:65008

客户端：

Received Hello, client1
Received Hello, client2