网络协议和管理

网络协议和管理：
***：虚拟的专有网络
感觉像一条专线，但是虚拟的

网络：网络识别通过有形或无形的媒介连接通信

网络应用程序：
Web 浏览器
即时消息：QQ，微信，钉钉
电子邮件
协作：VNC 网络会议
web网络服务：apache，nginx，IIS
文件网络服务：ftp，nfs，samba
数据库服务：MySQL， MariaDB， MongoDB
中间件服务：Tomcat，JBoss
安全服务：Netfilter　　

　　　　用户应用程序对网络的影响
　　　　　　批处理应用程序
　　　　　　　　FTP、TFTP、库存更新
　　　　　　　　无需直接人工交互
　　　　　　　　带宽很重要，但并非关键性因素
　　　　　　交互式应用程序
　　　　　　　　库存查询、数据库更新
　　　　　　　　人机交互
　　　　　　　　因为用户需等待响应，所以响应时间很重要，
　　　　　　　　但并非关键性因素，除非要等待很长时间
　　　　　　实时应用程序
　　　　　　　　VoIP、视频
　　　　　　　　人与人的交互
　　　　　　　　端到端的延时至关重要
网络的特征：
速度：bps /8 以位为单位
成本：
安全性：
可用性：
可扩展性：
可靠性：
拓扑：
物理拓扑:
总线拓扑，环状拓扑，星型拓扑
单环状：沿着一个方向传输
双环状：提高冗余性，信号沿相反方向传输
逻辑拓扑：描述了信息在网络中流动的方式
　　带宽：
　　

主机到主机的通信：
OSI：模型标准

　　　　
网络模型分层：
应用层：网络进程访问应用层，为应用程序进程提供网络服务，提供身份验证，http。。。
表示层：确保接受系统可以读出该数据，格式化数据，构建数据，协商用于应用层的数据传输语法，提供加密
会话层：主机间通信，应用程序之间通信
传输层：确保数据可靠的传输，建立，维护和终止虚拟电路，通过错误检测和恢复，信息流控制来保障可靠性
实现数据点对点的传输
segment：段
网络层：路由数据，选择传递数据的最佳路径，支持逻辑寻址和路径选择
逻辑地址：ip地址
package：包（packet）
数据链路层：定义如何格式化数据以便进行传输以及如何控制对网络的访问，支持错误检测，对0,1数据的组织，格式化
物理地址
frame：帧
物理层：二进制传输，高低电平。物理设备的连接电气特性，机械规范，过程规范，功能规范
bit： 位

注：每一层都有一个唯一地址

　　数据封装：每一层都要封装一个报头，除了物理层

　　
　　数据解封：和上面正好相反

　　对等通信：

　　

PDU：　　　

　　　　　　PDU: Protocol Data Unit,协议数据单元是指对等层次之间传递的数据单位
　　　　　　物理层的 PDU是数据位 bit
　　　　　　数据链路层的 PDU是数据帧 frame
　　　　　　网络层的PDU是数据包 packet
　　　　　　传输层的 PDU是数据段 segment
　　　　　　其他更高层次的PDU是消息 message
三种通讯模式：
单播：
虽然单播，但是不代表别人收不到。
组播（多播）：部分主机
广播：一定范围内的所有。

局域网：Local Area Network （LAN）

　　　　
　　 LAN组成：
Computer
　　　　　　　PCs
　　　　　　　Servers
Interconnections:网络连接
NICs:网卡
Media
Network devices：网络设备
Hubs
Switches
Routers
Protocols：协议
Ethernet
IP
ARP
　　　　　　　DHCP

网络线缆和接口：
10Base5： 10M 基带(数字)， 最大传输距离500m

10BaseT: T 双绞线， 8根四对，避免电磁干扰

STP：屏蔽式双绞线
UTP：非屏蔽式双绞线

光纤：

注：以上都有最大传输距离
双绞线：100m
光纤：公里级别

UTP:

　　　　　　
直通线：默认是1，2传，3,6 接受
交叉线：相同的设备连接，如两台电脑，连接，如果都是1,2 发送，3,6接受，就无法使用，所以A pc 1,2发送，B pc，3,6发送
　　　　　　中通线 使用 T568B
　　　　　　交叉线 使用 T568A
　　　插头是：RJ-45 Connector
　　　　 被插的是： Jack

　　双绞线针脚定义：

通讯术语：
单工：单向传输
全双工：可双向传输
半双工：不能同时传 --- 对讲机

　　LAN 标准：

Ethernet Evolution：以太网现在使用的是第二代
MAC：前三位 国际标准规定产商编号
写在ROM中，是可以改的，通过软件方式

Type：上层协议类型

　　Ethernet Frame 结沟：
　　　　整个以太网帧长度： 8 + 6 + 6 + 2 + （46， 1500） + 4
　　　　　　　60-　1514 （72 - 1526）

　　　　　　　　type：指的是上层的协议类型！

　　　　
　　

　　数据链路层:

　　MAC地址：

CSMA/CD：冲突检测的载波侦听多路访问

　　　　　　应用在 数据链路层。
　　　　　　它的工作原理是: 发送数据前 先侦听信道是否空闲 ,若空闲，则立即发送数据。
　　　　　　　　　　　　　　若信道忙碌，则等待一段时间至信道中的信息传输结束后再发送数据；
　　　　　　　　　　　　　　若在上一段信息发送结束后，同时有两个或两个以上的节点都提出发送请求，则判定为冲突。
　　　　　　　　　　　　　　若侦听到冲突,则立即停止发送数据，等待一段随机时间,再重新尝试。

Hub：集线器
Hub：多端口中继器（信号放大器，传输更远举例)
Hub并不记忆该信息包是由哪个MAC地址发出。
Hub的特点：
共享带宽
半双工：同一时间只能一个人发
不会隔离冲突域

冲突域：
主机越多，冲突域越大

网桥（交换机）：工作原理一样，有学习能力。

　　　　　工作原理：
　　　　　　　　以太网桥监听数据帧中源MAC地址，学习MAC，建立MAC表
　　　　　　　　对于未知MAC 地址，网桥将转发到除接受该帧的端口之外的所有端口
　　　　　　　　当网桥接收到一个数据帧时，如果该帧的目的位与接收端口所在的网段上，他就过滤掉该数据帧，如果目的MAC 地址在位与另外一个端口，网桥就将该帧转发到该端口。
　　　　　　　　当网桥接收到广播帧时候，它立即转发到除接收端口之外的所有其他端口。

有一个内存：记录MAC 和 交换机接口对应关系
学习的是源MAC
隔离冲突域，
不能隔离广播域

　　Hub 和 交换机：
　　　　Hub工作在物理层，交换机在 数据链路层
　　　　后者可以隔离冲突域
　　　　Hub 共享所有总线，共享宽带，网桥每个端口占一个宽带。

路由器：隔离广播域
为了实现路由，需要做以下事情：
分隔广播域
选择路由表中到达目标最好的路径
维护和检查路由信息

连接广域网

　　　　　　
　　　　路由：把一个数据包从一个设备发送到不同网络里的另一个设备上去。这些工作依靠路由器来完成。路由器只关心网络的状态和决定网络中的最佳路径。
　　　　　　　　路由的实现依靠路由器中的路由表来完成
网卡：数据链路层MAC

VLAN：虚拟局域网
分隔广播域
安全
灵活管理

　　
　　　　VLAN = 广播域 = 逻辑网络（Subnet）

　　　　

　目前使用网络标准：
wapi：国内局域网标准
wifi:国际标准
wlan：wapi + wifi + 其他无线网络协议
分层的网络架构：
　　　　

TCP/IP ：协议栈，很多协议，只是用来命名的
　　　　　Transmission Control Protocol/Internet Protocol传输控制协议/因特网互联协议
TCP/IP是一个Protocol Stack，包括TCP、IP、UDP、ICMP、RIP、TELNET、FTP、SMTP、ARP等许多协议,最早发源于美国国防部（缩写为DoD）的因特网的前身ARPA网项目，1983年1月1日，TCP/IP取代了旧的网络控制协议NCP，成为今天的互联网和局域网的基石和标准,由互联网工程任务组负责维护，共定义了四层和ISO参考模型的分层有对应关系

　　　　　　　　

四层：
应用层:
传输层
internet层
network访问层（network 包括了internet）

　　TCP/IP协议栈 和OSI 模型对比：

TCP & UDP 对比：

tcp:面向连接（可靠新差，效率不是很高）

序列化数据，添加数据标号的，将数据组装起来

udp
非面向连接
非序列化数据，不会添加数据编号

TCP特性：
半关闭：你可以理我，我可以不理你
工作在传输层
面向连接协议

　　　　　错误检查
　　　　　将数据打包成段，排序
　　　　　确认机制
　　　　 数据恢复，重传
　　　　　流量控制，滑动窗口
　　　　　拥塞控制，慢启动和拥塞避免算法

TCP包头：

　　　　　　源端口、目标端口：计算机上的进程要和其他进程通信是要通过计算机端口的，而一个计算机端口某个时刻只能被一个进程占用，所以通过指定源端口和目标端口，就可以知道是哪两个进程需要通信。源端口、目标端口是用16位表示的，可推算计算机的端口个数为2^16个　　　　　　
　　　　　　　序列号：表示本报文段所发送数据的第一个字节的编号。在TCP连接中所传送的 字节流的每一个字节都会按顺序编号。由于序列号由32位表示，所以每2^32个 字节，就会出现序列号回绕，再次从 0 开始　　　
　　　　　　　确认号：表示接收方期望收到发送方下一个报文段的第一个字节数据的编号。也就是告诉发送方：我希望你（指发送方）下次发送的数据的第一个字节数据的编号为此确认号
　　
　　　　　序列号：是全局的，不是针对某个传输 对象来说的，
确认号：我希望你发11包，含义就是10 已经收到了。
----也可以批量确认，提高效率（通过数据报文中的窗口得知，，是否批量）
窗口有固定窗口，滑动窗口

序列号：2^31
----用完了，转圈使用，还有辅助选项，比如加上时间

　　　　　　数据偏移：报头长度

　　　　　　数据偏移：表示TCP报文段的首部长度，共4位，由于TCP首部包含一个长度可变的选项部分，需要指定这个TCP报文段到底有多长。它指出 TCP 报文段的数据起始处距离 TCP 报文段的起始处有多远。该字段的单位是32位(即4个字节为计算单位），4位二进制最大表示15，所以数据偏移也就是TCP首部最大60字节　　　　　　
　　　　　　　　URG：表示本报文段中发送的数据是否包含紧急数据。后面的紧急指针字段（urgentpointer）只有当URG=1时才有效　　　　　　　
　　　　　　　　ACK：表示是否前面确认号字段是否有效。只有当ACK=1时，前面的确认号字段才有效。TCP规定，连接建立后，ACK必须为1,带ACK标志的TCP报文段称为确认报文段　　　　　　
　　　　　　　　PSH：提示接收端应用程序应该立即从TCP接收缓冲区中读走数据，为接收后续数据腾出空间。如果为1，则表示对方应当立即把数据提交给上层应用，而不是缓存起来，如果应用程序不将接收到的数据读走，就会一直停留在TCP接收缓冲区中　网卡缓存区---》 tcp缓冲区---》应用程序缓冲区　
　　　　　　　　RST：如果收到一个RST=1的报文，说明与主机的连接出现了严重错误（如主机崩溃），必须释放连接，然后再重新建立连接。或者说明上次发送给主机的数据有问题，主机拒绝响应，带RST标志的TCP报文段称为复位报文段　　　　　
　　　　　　　　SYN：在建立连接时使用，用来同步序号。当SYN=1，ACK=0时，表示这是一个请求建立连接的报文段；当SYN=1，ACK=1时，表示对方同意建立连接。SYN=1，说明这是一个请求建立连接或同意建立连接的报文。只有在前两次握手中SYN才置为1，带SYN标志的TCP报文段称为同步报文段　　　　　　
　　　　　　　　FIN：表示通知对方本端要关闭连接了，标记数据是否发送完毕。如果FIN=1，即告诉对方：“我的数据已经发送完毕，你可以释放连接了”，带FIN标志的TCP报文段称为结束报文段　　　　　　
　　　　　　　　窗口大小：表示现在允许对方发送的数据量，也就是告诉对方，从本报文段的确认号开始允许对方发送的数据量，达到此值，需要ACK确认后才能再继续传送后面数据，由Window size value Window size scaling factor（此值在三次握手阶段TCP选项Window scale协商得到）得出此值
　　　　　　　校验和：提供额外的可靠性
　　　　　　　紧急指针：标记紧急数据在数据字段中的位置　　　　　　　　
　　　　　　　　选项部分：其最大长度可根据TCP首部长度进行推算。TCP首部长度用4位表示，选项部分最长为：(2^4-1)4-20=40字节　　　　　　　
　　　　　　　　　　　　常见选项：
　　　　　　　　　　　　　　最大报文段长度：Maxium Segment Size，MSS，通常1460字节
　　　　　　　　　　　　　　窗口扩大：Window Scale
　　　　　　　　　　　　　　时间戳： Timestamps　　　　　　　　　
　　　　　　网卡缓存区---》 tcp缓冲区---》应用程序缓冲区
　　　　　　　TCP协议 PORT：　　　　　　　

　　　　　　常用端口号：2^16 = 65535
　　　　　　　　0-1023:系统端口，特权端口
　　　　　　　　1024-49151：用户端口，注册端口
　　　　　　　　49152-65535：动态端口，私有端口
　　　　　　　　　　-- /proc/sys/net/ipv4/ip_local_port_range  查看范围

　　　　　　　　dns --> tcp 53 udp 53
　　　　　　　　SNMP --> up 161
　　　　　　　　 TFTP --> udp 69
　　　　　　　　https --> tcp 443

　　　　　　　　cat /etc/servics

　　　　　　　　　　cmd中  --> tasklist：查看本机开启的服务
　　　　　　　　　netstat -no :协议和端口号

TCP三次握手：
　　　　

TCP四次断开：
　　　　

　　有限状态机：　　
　　　　　　CLOSED 没有任何连接状态
　　　　　　LISTEN 侦听状态，等待来自远方TCP端口的连接请求
　　　　　　SYN-SENT 在发送连接请求后，等待对方确认
　　　　　　SYN-RECEIVED 在收到和发送一个连接请求后，等待对方确认
　　　　　　ESTABLISHED 代表传输连接建立，双方进入数据传送状态
　　　　　　FIN-WAIT-1 主动关闭,主机已发送关闭连接请求，等待对方确认
　　　　　　FIN-WAIT-2 主动关闭,主机已收到对方关闭传输连接确认，等待对方发送关闭
　　　　　　传输连接请求
　　　　　　TIME-WAIT 完成双向传输连接关闭，等待所有分组消失
　　　　　　CLOSE-WAIT 被动关闭,收到对方发来的关闭连接请求，并已确认
　　　　　　LAST-ACK 被动关闭,等待最后一个关闭传输连接确认，并等待所有分组消失
　　　　　　CLOSING 双方同时尝试关闭传输连接，等待对方确认
　　四次断开：
　　　　　　客户端先发送一个FIN给服务端，自己进入了FIN_WAIT_1状态，这时等待接收
　　　　　　　　服务端的报文，该报文会有三种可能：
　　　　　　 只有服务端的ACK
　　　　　　 只有服务端的FIN
　　　　　　 基于服务端的ACK，又有FIN
　　　　　　1、只收到服务器的ACK，客户端会进入FIN_WAIT_2状态，后续当收到服务端
　　　　　　　　的FIN时，回应发送一个ACK，会进入到TIME_WAIT状态，这个状态会持续
　　　　　　　　2MSL(TCP报文段在网络中的最大生存时间, RFC 1122标准的建议值是2min).
　　　　　　　　客户端等待2MSL，是为了当最后一个ACK丢失时，可以再发送一次。因为服务
　　　　　　　　端在等待超时后会再发送一个FIN给客户端，进而客户端知道ACK已丢失
　　　　　　2、只有服务端的FIN时，回应一个ACK给服务端，进入CLOSING状态，然后接
　　　　　　　　收到服务端的ACK时，进入TIME_WAIT状态
　　　　　　3、同时收到服务端的ACK和FIN，直接进入TIME_WAIT状态
　　孤儿连接：（类似孤儿进程）

　　　　处于FIN_WAIT_2状态的客户端需要等待服务器发送结束报文段，才能转移至TIME_WAIT状态，否则它将一直停留在这个状态。如果不是为了在半关闭状态下继续接收数据，连接长时间地停留在FIN_WAIT_2状态并无益处。连接停留在FIN_WAIT_2状态的情况可能发生在：客户端执行半关闭后，未等服务器关闭连接就强行退出了。此时客户端连接由内核来接管，可称之为孤儿连接（和孤儿进程类似）
　　　Linux为了防止 孤儿连接长时间存留在内核中，定义了两个内核参数：
　　　　　　/proc/sys/net/ipv4/tcp_max_orphans:指定内核能够接管的孤儿连接数目
　　　　　　/proc/sys/net/ipv4/tcp_fin_timeout:指定孤儿连接在内核中生存的时间
　　　　

半链接，完全链接：
　　　　　　sync：半连接队列，未完成连接队列，三次握手次数是有限制的。也就是三次握手没有完成。
　　　　　　accept：全连接队列

　　　　ss -tnl
　　　　/proc/sys/net/ipv4/tcp_max_syn_backlog 未完成连接队列大小，建议调整大小为1024以上
　　　　/proc/sys/net/core/somaxconn 完成连接队列大小，建议调整为1024以上
　　TCP超时重传：
　　　　网络异常（开始出现超时或丢包），TCP 控制 数据传输以保证其承诺的可靠服务，　　　
　　　　　TCP服务必须能够重传超时时间内未收到确认的TCP报文段。为此，TCP模块为每个TCP报文段都维护一个重传定时器，该定时器在TCP报文段第一次被发送时启动。如果超时时间内未收到接收方的应答，TCP模块将重传TCP报文段并重置定时器。至于下次重传的超时时间如何选择，以及最多执行多少次重传，就是TCP的重传策略　
　　　　与TCP 超时重传相关的两个内核参数：
　　　　　　/proc/sys/net/ipv4/tcp_retries1:指定在底层IP接管之前TCP最少执行的重传次数，默认是3
　　　　　　/proc/sys/net/ipv4/tcp_retries2:指定连接放弃前 TCP 最多可以执行的重传次数，默认15（一般对应13-30min）
　　
　　　TCP 确认：

　　　　　　可以看到，收到一个报文，确认一次，这样效率很低，所以TCP报头提供了窗口
　　　　　　
　　　　　　
固定窗口：

滑动窗口：不固定，与双方主机性能有关

　　拥塞控制：　　　　
　　　　网络中的带宽、交换结点中的缓存和处理机等，都是网络的资源。在某段时间，若对网络中某一资源的需求超过了该资源所能提供的可承受的能力，网络的性能就会变坏。此情况称为拥塞
　　　　TCP为提高网络利用率，降低丢包率，并保证网络资源对每条数据流的公平性。即所谓的拥塞控制
　　　　TCP拥塞控制的标准文档是RFC 5681，其中详细介绍了拥塞控制的四个部分：慢启动（slow start）、拥塞避免（congestion avoidance）、快速重传（fastretransmit）和快速恢复（fast recovery）。拥塞控制算法在Linux下有多种实现，比如reno算法、vegas算法和cubic算法等。它们或者部分或者全部实现了上述四个部分
　　当前所使用的拥塞控制算法： /proc/sys/net/ipv4/tcp_congestion_control

UPD协议：
特性：
工作在传输层
提供不可靠的网络访问
非面向连接协议：不关心发送的数据是否到达对方
有限的错误检查
传输性能高
无数据恢复特性

局域网中，比较稳定

UDP包头：

　　　　　　　

Internet层：
ICMP：ping
ARP广播：地址解析协议
第一次通讯类似交换机，记住对方MAC
第二次则直接读缓存即可
arp -n 可以查看ARP表。 ip neigh
免费arp：还没有通讯，就提示ip冲突 ---- win上测试

ARP病毒，就是冒充别人的 IP ，进而冒充别人的MAC 地址

　　　　　　　如果出现冲突：
　　arping -I eth1 192.168.112.110
　　查看冲突后的mac，通过mac在找交互机上的缓存表，找到具体的机器
RARP ：ip---》 mac
IP PDU 报头：

　　　　　　　　
固定长度也是 20个字节 4* 5

标识：数据报文来自哪个同一的包，每个小包来自哪个大包。
片偏移：来自同一个大包的第几个小包

　　　　　　　标志：后两位有意思
　　　　　　　　　　DF：为0：分片
　　　　　　　　　　MF：为1：后面还有分片， 为 0 ，最后一个分片
　　　　　　　　　　抓数据包测试：ping -s 3500 192.168.112.112
　　　　　　　　　　　　按照以太网帧1500的话，分三片
ttl：生命周期，默认64，通过一个减 1 　　　　　　　　　　　　　　
　　　　　　　　　　　　　　/roc/sys/net/ipv4/ip_default_ttl ttl值
　　　　　　　　　　　　cmd--> tracert www.baidu.com 查看路由
　　　　　　　　协议：上层协议类型： /etc/protocols 查看
　　　　　　　　　　

　　　　Internet 协议特征：
　　　　　　运行与OSI 网络层
　　　　　　面向无连接的协议
　　　　　　独立处理数据包
　　　　　　分层编址
　　　　　　尽力而为传输
　　　　　　无数据恢复功能

　　　ping ip地址：另类做法：

　　　　　　

IP地址：
网路 ID
主机 ID

A: 8位网络ID 0
0-127.x.y.z
除去0,127 ，所以 1-126

10.x.y.z 2^24-2
10.0.0.0 10网段ID
10.1.1.1 10网段的广播地址
B： 16位网络ID 10
128-191.x.y.z

C： 24位网络ID 110
192-223.x.y.z

D:     1110  多播地址，不能配置

一个网段中最多的主机数：
2^主机ID位-2

公共IP地址：

　　　　　　
私有地址：

　　　　　　
　　特殊地址：　　　　
　　　　　　0.0.0.0
　　　　　　　　　　0.0.0.0不是一个真正意义上的IP地址。它表示所有不清楚的主机和目的网络
　　　　　　255.255.255.255
　　　　　　　　　　限制广播地址。对本机来说，这个地址指本网段内(同一广播域)的所有主机
　　　　　　127.0.0.1～127.255.255.254
　　　　　　　　　　本机回环地址，主要用于测试。在传输介质上永远不应该出现目的地址为
　　　　　　　　　　“127.0.0.1”的 数据包
　　　　　　224.0.0.0到239.255.255.255
　　　　　　　　　　组播地址，224.0.0.1特指所有主机，224.0.0.2特指所有路由器。224.0.0.5指OSPF
　　　　　　　　　　路由器，地址多用于一些特定的程序以及多媒体程序
　　　　　　169.254.x.x
　　　　　　　　　　如果Windows主机使用了DHCP自动分配IP地址，而又无法从DHCP服务器获取地
　　　　　　　　　　址，系统会为主机分配这样地址

　　特殊的dns
　　114.114.114.114 国内
　　8.8.8.8 google
　　0.0.0.0 澳大利亚
　　223.5.5.5 阿里提供dns