Python网络编程之网络基础

[toc]

1. 计算机网络发展

计算机通信诞生之初，系统化与标准化未收到重视，不同厂商只出产各自的网络来实现通信，这样就造成了对用户使用计算机网络造成了很大障碍，缺乏灵活性和可扩展性

为解决该问题，ISO（国际标准化组织）制定了一个国际标准OSI（开放式通信系统互联参考模型）共七层.

在七层模型中，每个分层都接受由它下一层所提供的特定服务，并且负责为自己的上一层提供特定的服务，上下层之间进行交互所遵循的约定叫做“接口”，同一层之间的交互所遵循的约定叫做**“协议”**

协议就是计算机之间通过网络实现通信时事先达成的一种“约定”(交通规则)；这种“约定”使那些由不同厂商的设备，不同CPU及不同操作系统组成的计算机之间，只要遵循相同的协议就可以实现通信

协议可以分很多种，每一种协议都明确界定了它的行为规范：2台计算机之间必须能够支持相同的协议，并且遵循相同的协议进行处理，才能实现相互通信

1.1. OSI七层模型

七层模型，亦称OSI（Open System Interconnection）。参考模型是国际标准化组织（ISO）制定的一个用于计算机或通信系统间互联的标准体系，一般称为OSI参考模型或七层模型。

• 第7层 应用层 应用层（Application Layer）提供为应用软件而设计的接口，以设置与另一应用软件之间的通信。例如：HTTP、HTTPS、FTP、Telnet、SSH、SMTP、POP3等。

• 第6层 表示层 表示层（Presentation Layer）把数据转换为能与接收者的系统格式兼容并适合传输的格式。

  格式有:JPEG、ASCll、EBCDIC、加密格式等

• 第5层 会话层 会话层（Session Layer）负责在数据传输中设置和维护计算机网络中两台计算机之间的通信连接。

• 第4层 传输层 传输层（Transport Layer）把传输表头（TH）加至数据以形成数据包。传输表头包含了所使用的协议等发送信息。例如:传输控制协议（TCP）等。

  在这一层，数据的单位称为数据段（segment）

  协议有：TCP UDP，数据包一旦离开网卡即进入网络传输层

• 第3层 网络层 网络层（Network Layer）决定数据的路径选择和转寄，将网络表头（NH）加至数据包，以形成报文。网络表头包含了网络资料。例如:互联网协议（IP）等。

  在这一层，数据的单位称为数据包（packet）

  协议有：ICMP IGMP IP（IPV4 IPV6）

• 第2层 数据链路层 数据链路层（Data Link Layer）负责网络寻址、错误侦测和改错。当表头和表尾被加至数据包时，会形成信息框（Data Frame）。数据链表头（DLH）是包含了物理地址和错误侦测及改错的方法。数据链表尾（DLT）是一串指示数据包末端的字符串。例如以太网、无线局域网（Wi-Fi）和通用分组无线服务（GPRS）等。

  分为两个子层：逻辑链路控制（logical link control，LLC）子层和介质访问控制（Media access control，MAC）子层。

  在这一层，数据的单位称为帧（frame)

  协议有：ARP、RARP、SDLC、HDLC、PPP、STP、帧中继等

• 第1层 物理层

  物理层（Physical Layer）在局部局域网上传送数据帧（Data Frame），它负责管理电脑通信设备和网络媒体之间的互通。包括了针脚、电压、线缆规范、集线器、中继器、网卡、主机接口卡等。

  在这一层，数据的单位称为比特（bit）

PDU: Protocol Data Unit,协议数据单元是指对等层次之间传递的数据单位

传输层之上的PDU都称为message

1.2. 七层模型传输数据过程

2. TCP/IP协议栈

OSI七层为参考模型，但在实际应用中使用的是TCP/IP模型。

Transmission Control Protocol/Internet Protocol 传输控制协议/因特网互联协议 TCP/IP是一个Protocol Stack，包括TCP、IP、UDP、 ICMP、RIP、TELNET、FTP、SMTP、ARP，ssh等许多协议

最早发源于美国国防部（缩写为DoD）的因特网的前身 ARPA网项目，1983年1月1日，TCP/IP取代了旧的网络 控制协议NCP，成为今天的互联网和局域网的基石和标准,由互联网工程任务组负责维护

共定义了四层，和OSI参考模型的分层有对应关系：

2.1 TCP/IP和OSI模型的比较

• 相同点 两者都是以协议栈的概念为基础
• 协议栈中的协议彼此相互独立
• 下层对上层提供服务

2.2.3 TCP三次握手

三次握手的过程

刚开始客户端处于 Closed 的状态，服务端处于 Listen 状态。 进行三次握手：

• 第一次握手(发送的第一个报文：SYN 报文)：客户端给服务端发一个 SYN 报文，并指明客户端的初始化序列号 ISN，将此序号置于 TCP 首部的「序号」字段中，同时把

  SYN

  标志位置为

  1

  ，表示

  SYN

  报文。接着把这个 SYN 报文发送给服务端，表示向服务端发起连接，该报文不包含应用层数据，之后客户端处于

  SYN-SENT

  状态。

  首部的同步位SYN=1，初始序号seq=x，SYN=1的报文段不能携带数据，但要消耗掉一个序号。

• 第二次握手(SYN + ACK 报文)：服务器收到客户端的 SYN 报文之后，会以自己的 SYN 报文作为应答，并且服务端也随机初始化自己的序号ISN,将此序号填入 TCP 首部的「序号」字段中。同时会把客户端的 ISN + 1 作为确认号 的值,放到TCP首部的【确认号】中，表示自己已经收到了客户端的 SYN，此时服务器处于

  SYN_RCVD

  的状态。

  在确认报文段中SYN=1，ACK=1，确认号ack=x+1，初始序号seq=y。

• 第三次握手：客户端收到 服务器的SYN 报文之后，再会向服务器发送一个 应答(ACK) 报文，首先该应答报文 的TCP 首部

  ACK

  标志位置为

  1

  ，同样把服务器发过来的 ISN 号+ 1 后放入放到TCP首部的【确认号】中，表示已经收到了服务端的 SYN 报文，最后把报文发送给服务端。此时客户端处于

  ESTABLISHED

  状态。服务器收到 ACK 报文之后，也处于

  ESTABLISHED

  状态，此时，双方已建立起了连接。

  确认报文段ACK=1，确认号ack=y+1，序号seq=x+1（初始为seq=x，第二个报文段所以要+1），ACK报文段可以携带数据，不携带数据则不消耗序号。 从上面的过程可以发现第三次握手是可以携带数据的，前两次握手是不可以携带数据的 TCP协议之所以可靠主要是它接收数据的时候有反馈机制。

为什么要三次握手？两次或四次可以吗？

TCP是提供了一种可靠、面向连接、字节流、传输层的服务，所以在传输数据前要保证双方的收、发能力是正常的 两次握手只能确定一方的网络没有问题，四次握手浪费资源

2.2.4 TCP四次挥手

四次挥手过程

• 第一次挥手：客户端发送一个 FIN位被置为

  1

  的报文(FIN报文)，报文中会指定一个序列号。此时客户端处于

  FIN_WAIT1

  状态。 即发出连接释放报文段（FIN=1，序号seq=u），并停止再发送数据，主动关闭TCP连接，进入FIN_WAIT1（终止等待1）状态，等待服务端的确认。

• 第二次挥手：服务端收到客户端的 FIN报文 之后，会发送 ACK应答报文，并把客户端的序列号值 +1 作为 ACK 报文的序列号值【确认序号】，表明已经收到客户端的报文了，此时服务端处于

  CLOSE_WAIT

  状态。 即服务端收到连接释放报文段后即发出确认报文段（ACK=1，确认号ack=u+1，序号seq=v），服务端进入CLOSE_WAIT（关闭等待）状态，此时的TCP处于半关闭状态，客户端到服务端的连接释放。客户端收到服务端的确认后，进入FIN_WAIT2（终止等待2）状态，等待服务端发出的连接释放报文段。

• 第三次挥手：服务端也要断开连接，和客户端的第一次挥手一样，发给 FIN 报文，且指定一个序列号。此时服务端处于

  LAST_ACK

  的状态。 即服务端没有要向客户端发出的数据，服务端发出连接释放报文段（FIN=1，ACK=1，序号seq=w，确认号ack=u+1），服务端进入LAST_ACK（最后确认）状态，等待客户端的确认。

• 第四次挥手：客户端收到 FIN 之后，一样发送一个 ACK 报文作为应答，且把服务端的序列号值 +1 作为自己 ACK 报文的序列号值【确认序号】，此时客户端处于

  TIME_WAIT

  状态。需要过一阵子以确保服务端收到自己的 ACK 报文之后才会进入 CLOSED 状态，服务端收到 ACK 报文之后，就处于关闭连接了，处于

  CLOSED

  状态。 即客户端收到服务端的连接释放报文段后，对此发出确认报文段（ACK=1，seq=u+1，ack=w+1），客户端进入TIME_WAIT（时间等待）状态。此时TCP未释放掉，需要经过时间等待计时器设置的时间2MSL后，客户端才进入CLOSED状态

主动关闭连接的，才有 TIME_WAIT 状态

MSL

TTL

2MSL

2MSL

60

MSL

30

三次握手和四次挥手的过程中一共有11种状态

• CLOSED 没有任何连接状态
• LISTEN 侦听状态，等待来自远方TCP端口的连接请求
• SYN-SENT 在发送连接请求后，等待对方确认
• SYN-RECEIVED 在收到和发送一个连接请求后，等待对方确认
• ESTABLISHED 代表传输连接建立，双方进入数据传送状态
• FIN-WAIT-1 主动关闭,主机已发送关闭连接请求，等待对方确认
• FIN-WAIT-2 主动关闭,主机已收到对方关闭传输连接确认，等待对方发送关闭 传输连接请求
• TIME-WAIT 完成双向传输连接关闭，等待所有分组消失
• CLOSE-WAIT 被动关闭,收到对方发来的关闭连接请求，并已确认
• LAST-ACK 被动关闭,等待最后一个关闭传输连接确认，并等待所有分组消失
• CLOSING 双方同时尝试关闭传输连接，等待对方确认

客户端先发送一个FIN给服务端，自己进入了FIN_WAIT_1状态，这时等待接收 服务端的报文，该报文会有三种可能：

• 只有服务端的ACK
• 只有服务端的FIN
• 基于服务端的ACK，又有FIN

1. 只收到服务器的ACK，客户端会进入FIN_WAIT_2状态，后续当收到服务端 的FIN时，回应发送一个ACK，会进入到TIME_WAIT状态，这个状态会持续 2MSL(TCP报文段在网络中的最大生存时间, RFC 1122标准的建议值是2min). 客户端等待2MSL，是为了当最后一个ACK丢失时，可以再发送一次。因为服务 端在等待超时后会再发送一个FIN给客户端，进而客户端知道ACK已丢失
2. 只有服务端的FIN时，回应一个ACK给服务端，进入CLOSING状态，然后接 收到服务端的ACK时，进入TIME_WAIT状态
3. 同时收到服务端的ACK和FIN，直接进入TIME_WAIT状态

客户端的典型状态迁移

客户端通过connect系统调用主动与服务器建立连接connect系统调用首先给服 务器发送一个同步报文段，使连接转移到SYN_SENT状态

此后connect系统调用可能因为如下两个原因失败返回：

1. 如果connect连接的目标端口不存在（未被任何进程监听），或者该端口仍 被处于TIME_WAIT状态的连接所占用（见后文），则服务器将给客户端发送一 个复位报文段，connect调用失败。
2. 如果目标端口存在，但connect在超时时间内未收到服务器的确认报文段， 则connect调用失败

connect调用失败将使连接立即返回到初始的CLOSED状态。如果客户端成功收 到服务器的同步报文段和确认，则connect调用成功返回，连接转移至 ESTABLISHED状态

当客户端执行主动关闭时，它将向服务器发送一个结束报文段，同时连接进入 FIN_WAIT_1状态。若此时客户端收到服务器专门用于确认目的的确认报文段， 则连接转移至FIN_WAIT_2状态。当客户端处于FIN_WAIT_2状态时，服务器处 于CLOSE_WAIT状态，这一对状态是可能发生半关闭的状态。此时如果服务器 也关闭连接（发送结束报文段），则客户端将给予确认并进入TIME_WAIT状态

客户端从FIN_WAIT_1状态可能直接进入TIME_WAIT状态（不经过FIN_WAIT_2 状态），前提是处于FIN_WAIT_1状态的服务器直接收到带确认信息的结束报文 段（而不是先收到确认报文段，再收到结束报文段）

处于FIN_WAIT_2状态的客户端需要等待服务器发送结束报文段，才能转移至 TIME_WAIT状态，否则它将一直停留在这个状态。如果不是为了在半关闭状态 下继续接收数据，连接长时间地停留在FIN_WAIT_2状态并无益处。连接停留在 FIN_WAIT_2状态的情况可能发生在：客户端执行半关闭后，未等服务器关闭连 接就强行退出了。此时客户端连接由内核来接管，可称之为孤儿连接（和孤儿 进程类似）

客户端三次握手和四次挥手转换状态

服务端三次握手和四次挥手转换状态

2.3 UDP协议

UDP 是User Datagram Protocol的简称， 中文名是用户数据报协议，是OSI（Open System Interconnection，开放式系统互联） 参考模型中一种无连接的传输层协议，提供面向事务的简单不可靠信息传送服务,而且 UDP 协议是不分客户端和服务端，只分发送端和接收端

特性

• 工作在传输层
• 提供不可靠的网络访问
• 非面向连接协议
• 有限的错误检查
• 传输性能高
• 无数据恢复特性

3. IP协议

IP协议（Internet Protocol，互联网协议），是TCP/IP协议栈中最核心的协议之一，通过IP地址，保证了联网设备的唯一性，实现了网络通信的面向无连接和不可靠的传输功能。

• 版本:占4位,指 IP 协议的版本目前的IP协议版本号为4
• 首部长度:占4位,可表示的最大数值是15个单位，一个单位为4字节，因此IP 的 首部长度的最大值是60字节 (ip头部一共多长，等于固定部分(20)+可选)
• 区分服务:占8位,用来获得更好的服务,在旧标准中叫做服务类型,但实际上一直未 被使用过.后改名为区分服务.只有在使用区分服务(DiffServ)时,这个字段才起作 用.一般的情况下不使用
• 总长度:占16位,指首部和数据之和的长度,单位为字节,因此数据报的最大长度为 65535 字节.总长度必须不超过最大传送单元 MTU
• 标识:占16位,它是一个计数器,通常，每发送一个报文，该值会加1， 也用于数 据包分片，在同一个包的若干分片中，该值是相同的 (如果一个包的大小大于帧的大小(1500),就会分片，同个包拆分出来的值是相同的)
• 标志(flag):占3位,目前只有后两位有意义 (标志是一个包还是一个分片的包) DF： Don’t Fragment 中间的一位，只有当 DF=0 时才允许分片
• MF： More Fragment 最后一位，MF=1表示后面还有分片,MF=0 表示最后 一个分片

主机到主机数据传输过程

先接连
先ARP广播拿到对方MAC
三次握手进行TCP连接
创建连接后再进行数据传输

2.3.1 IP地址

• 它们可唯一标识 IP 网络中的每台设备
• 每台主机（计算机、网络设备、外围设备）必须具有唯一的地址
• IP地址由两部分组成 • 网络ID： 标识网络
• 每个网段分配一个网络ID