Protocol

协议

DHCP

什么是DHCP协议?

DHCP(Dynamic Host Configuration Protocol,动态主机配置协议)是一个局域网的网络协议,使用UDP协议工作。主要用于给内部网络或网络服务提供供应商自动分配IP地址。DHCP协议是一个应用层协议,能够让设备自动获取IP地址以及其他重要的网络资源。DHCP是基于Client/Server工作模式

流程

  1. DHCP Discover
  2. DHCP Offer
  3. DHCP Request
  4. DHCP ACK

DHCP Discover

DHCP发现阶段,即DHCP客户端寻找DHCP服务器的阶段, DHCP客户端以广播方式发送DHCP Discover包,因为客户端不知道服务器的IP地址,在网络上每台主机都会收到此广播包,但是只有DHCP服务器才可以响应。

DHCP Offer

接受到DHCP Discover包的所有DHCP服务器都会做出响应。这些DHCP服务器从尚未出租的IP地址中挑选一个给客户端,向客户端发送一个包含IP地址和其他设置的DHCP Offer包。

DHCP Request

客户端收到多台DHCP发送的DHCP offer包,DHCP客户端只接受其中一台DHCP服务器的数据,然后以广播的方式回应DHCP服务器DHCP Request,通知自己选择的DHCP服务器。当局域网中所以的DHCP服务器收到客户端发送的DHCP Request信息,通过查看包,确定是否是选择了自己IP,如果选择的是自己,则会发送一个确认包。否则,不进行响应。

为什么DHCP Request是广播呢?

主要是为了让其他未被选择的DHCP服务器知道客户端的选择,不再等待,让本来待分配的IP可以再进入备选状态,回收该IP。

DHCP ACK

对应的DHCP服务器确认所提供的IP地址信息阶段。

ARP

什么是ARP协议?

ARP(Address Resolution Protocol)协议,地址解析协议。该协议的功能是将IP地址转化为物理地址。

流程

假设PC1想向PC2发生数据。此时,PC1知道PC2的IP,还需要知道MAC地址才能进行数据链路层通信。

首先会查询arp缓存表,如果存在PC2的IP和MAC,则不用Request,直接发生数据。不存在则Requst。

ARP Request

PC1广播Request请求,其中包含自己的IP和MAC地址,以及查询的PC2的IP地址。

ARP Reply

由于Request是广播,所以局域网中所有主机都能接收到该包。当本地网络上所有主机都接收到ARP Request后,并且检查是否与自己的IP地址相匹配,如果不匹配则会丢弃,但会缓存PC1的IP和MAC地址。

此时PC2也会收到ARP请求报,PC2确定ARP请求中的IP地址与自己的IP地址相匹配。则会

  • 将PC1的地址和MAC地址加入到自己的本地ARP缓存表中
  • 将包含自己的MAC地址的ARP响应包回复到PC1,此时是单播

PC1接到该数据包,会将PC2的IP和MAC加入到ARP缓存,此时就可以进行正常通信了。

ARP到底是链路层还是网络层?

以ARP协议为例,它的功能最终是获取到MAC信息,服务于链路层,从这点考虑,ARP是链路层协议;但是从层次来看,ARP基于Ethernet协议,IP协议基于Ethernet协议,它们在Ethernet协议里面有独立的Type类型,前者是0x0806,后者是0x0800,既然ARP和IP协议”平起平坐”,那么IP是网络层,ARP难道就不是网络层?

小结:基于功能来考虑,ARP是链路层协议;基于分层/包封装来考虑,ARP是网络层协议。(此方法对于ICMP协议同样管用)

ICMP

什么是ICMP协议?

ICMP(Internet Control Message Protocol)网际报文控制协议,是Internet协议族的核心协议之一,它主要用在网络计算机的操作系统中发送出错信息。例如:请求服务不可用,主机不可达。ICMP协议是一种面向无连接的协议,用于传输出错报告控制信息。但是ICMP不是高层协议,而是IP层协议。

ICMP 主要的功能包括:确认 IP 包是否成功送达目标地址、报告发送过程中 IP 包被废弃的原因和改善网络设置等。

IP 通信中如果某个 IP 包因为某种原因未能达到目标地址,那么这个具体的原因将由 ICMP 负责通知

ICMP 的这种通知消息会使用 IP 进行发送 。

报文格式

ICMP 报文是封装在 IP 包里面,它工作在网络层,是 IP 协议的助手,包含IP信息和ICMP报文具体内容。

详细信息如下

类型

所有类型如下

按照功能分,ICMP协议大致包含两类报文

  • 一类是用于诊断的查询消息,也就是「查询报文类型」,即主动查询。
  • 另一类是通知出错原因的错误消息,也就是「差错报文类型」,即被动地被通知。

查询报文

查询报文包含两个,一个是类型为8的请求Echo Request和类型为0的应答Echo Reply。

这俩报文用于进行通信的主机或路由器之间,判断所发送的数据包是否已经成功到达对端的一种消息,ping 命令就是利用这俩实现的。

不过相比原生的 ICMP,Unix的ping实现多了两个字段:

  • 标识符:用以区分是哪个应用程序发 ICMP 包,比如用进程 PID 作为标识符;
  • 序号:序列号从 0 开始,每发送一次新的回送请求就会加 1, 可以用来确认网络包是否有丢失。

选项数据中,ping 还会存放发送请求的时间值,来计算往返时间,说明路程的长短。

差错报文

由类型可知,ICMP差错保温包含以下类型

  • 目标不可达消息 —— 类型 为 3
  • 原点抑制消息 —— 类型 4
  • 重定向消息 —— 类型 5
  • 超时消息 —— 类型 11

目标不可达

由报文格式中提到的这个图

不难发现,除了ICMP类型的区分,一种类型还包含多种报文。

比如,类型为3的目标不可达消息(Destination Unreachable Message),还包含具体不可达的信息,如

  • 网络不可达代码为 0
  • 主机不可达代码为 1
  • 协议不可达代码为 2
  • 端口不可达代码为 3
  • 需要进行分片但设置了不分片位代码为 4

代码号设置在类型号后。

网络不可达 代码为 0

IP 地址是分为网络号和主机号的,所以当路由器中的路由器表匹配不到接收方 IP 的网络号,就通过 ICMP 协议以网络不可达(Network Unreachable)的原因告知主机。

自从不再有网络分类以后,网络不可达也渐渐不再使用了。

主机不可达 代码为 1

当路由表中没有该主机的信息,或者该主机没有连接到网络,那么会通过 ICMP 协议以主机不可达Host Unreachable)的原因告知主机。

协议不可达 代码为 2

当主机使用 TCP 协议访问对端主机时,能找到对端的主机了,可是对端主机的防火墙已经禁止 TCP 协议访问,那么会通过 ICMP 协议以协议不可达的原因告知主机。

端口不可达代码为 3

当主机访问对端主机 8080 端口时,这次能找到对端主机了,防火墙也没有限制,可是发现对端主机没有进程监听 8080 端口,那么会通过 ICMP 协议以端口不可达的原因告知主机。

需要进行分片但设置了不分片位代码为 4

发送端主机发送 IP 数据报时,将 IP 首部的分片禁止标志位设置为1。根据这个标志位,途中的路由器遇到超过 MTU 大小的数据包时,不会进行分片,而是直接抛弃。

随后,通过一个 ICMP 的不可达消息类型,代码为 4 的报文,告知发送端主机。

原点抑制消息

原点抑制消息(ICMP Source Quench Message) —— 类型为 4

在使用低速广域线路的情况下,连接 WAN 的路由器可能会遇到网络拥堵的问题。

ICMP 原点抑制消息的目的就是为了缓和这种拥堵情况

当路由器向低速线路发送数据时,其发送队列的缓存变为零而无法发送出去时,可以向 IP 包的源地址发送一个 ICMP 原点抑制消息

收到这个消息的主机借此了解在整个线路的某一处发生了拥堵的情况,从而增大 IP 包的传输间隔,减少网络拥堵的情况。

然而,由于这种 ICMP 可能会引起不公平的网络通信,一般不被使用。

重定向消息

重定向消息(ICMP Redirect Message) —— 类型 5

如果路由器发现发送端主机使用了「不是最优」的路径发送数据,那么它会返回一个 ICMP 重定向消息给这个主机。

在这个消息中包含了最合适的路由信息和源数据。这主要发生在路由器持有更好的路由信息的情况下。路由器会通过这样的 ICMP 消息告知发送端,让它下次发给另外一个路由器。

好比,小林本可以过条马路就能到的地方,但小林不知道,所以绕了一圈才到,后面小林知道后,下次小林就不会那么再绕一圈了。

超时消息

IP 包中有一个字段叫做 TTLTime To Live,生存周期),它的值随着每经过一次路由器就会减 1,直到减到 0 时该 IP 包会被丢弃。

此时,路由器将会发送一个 ICMP 超时消息给发送端主机,并通知该包已被丢弃。

设置 IP 包生存周期的主要目的,是为了在路由控制遇到问题发生循环状况时,避免 IP 包无休止地在网络上被转发。

减到0时,路由器就会向发送端回复一个超时消息。

此外,有时可以用 TTL 控制包的到达范围,例如设置一个较小的 TTL 值,衍生出一些应用。

应用

ping —— 查询报文类型的使用

像上面提到的, ping 这个程序是使用了 ICMP 里面的 ECHO REQUEST(类型为 8 ) 和 ECHO REPLY (类型为 0)。

traceroute —— 差错报文类型的使用

有一款充分利用 ICMP 差错报文类型的应用叫做 traceroute(在UNIX、MacOS中是这个命令,而在Windows中对等的命令叫做 tracert )。

作用一:追踪途径路由器

traceroute 的第一个作用就是故意设置特殊的 TTL,来追踪去往目的地时沿途经过的路由器。

它的原理就是利用 IP 包的生存期限1 开始按照顺序递增的同时发送 UDP 包,强制接收 ICMP 超时消息的一种方法。

比如,将 TTL 设置 为 1,则遇到第一个路由器,就牺牲了,接着返回 ICMP 差错报文网络包,类型是时间超时

接下来将 TTL 设置为 2,第一个路由器过了,遇到第二个路由器也牺牲了,也同时返回了 ICMP 差错报文数据包,如此往复,直到到达目的主机。

这样的过程,traceroute 就可以拿到了所有的路由器 IP。

当然有的路由器根本就不会返回这个 ICMP,所以对于有的公网地址,是看不到中间经过的路由的。

发送方如何知道发出的 UDP 包是否到达了目的主机呢?

traceroute 在发送 UDP 包时,会填入一个不可能的端口号值作为 UDP 目标端口号:33434。然后对于每个下一个探针,它都会增加一个,这些端口都是通常认为不会被使用,不过,没有人知道当某些应用程序监听此类端口时会发生什么。

当目的主机,收到 UDP 包后,会返回 ICMP 差错报文消息,但这个差错报文消息的类型是「端口不可达」。

所以,当差错报文类型是端口不可达时,说明发送方发出的 UDP 包到达了目的主机。

作用二:确定路径的 MTU

traceroute 还有一个作用是故意设置不分片,从而确定路径的 MTU

因为有的时候我们并不知道路由器的 MTU 大小,以太网的数据链路上的 MTU 通常是 1500 字节,但是非以太网的 MTU 值就不一样了,所以我们要知道 MTU 的大小,从而控制发送的包大小。

首先在发送端主机发送 IP 数据报时,将 IP 包首部的分片禁止标志位设置为 1。根据这个标志位,途中的路由器不会对大数据包进行分片,而是将包丢弃。

随后,通过一个 ICMP 的不可达消息将数据链路上 MTU 的值一起给发送主机,不可达消息的类型为「需要进行分片但设置了不分片位」。

发送主机端每次收到 ICMP 差错报文时就减少包的大小,以此来定位一个合适的 MTU 值,以便能到达目标主机。

DNS

平时人们记住的都是网址,比如www.baidu.com,而要获取到该网址对应的IP,则需要DNS。

什么是DNS协议?

DNS(Domain Name System, 域名系统)是因特网上作为域名和IP地址相互映射的一个分布式数据库,能够使用户更方便地访问互联网,而不是用去记住能够被机器直接读取的IP数串。在互联网上域名与IP地址之间是一对一或者多对一的,如果要记住所以的IP地址,显然是不太容易的。虽然域名便于人们记住,但是主机之间只能互相认识IP地址,所以它们之间的转化就需要DNS来完成。

DNS服务器

我们常用的网址包含一定的层级关系,比如www.cqu.edu.cn。对应的层级有不同的服务器。

域名的层级关系类似一个树状结构:

  • 根 DNS 服务器
  • 顶级域 DNS 服务器(com)
  • 权威 DNS 服务器(server.com)

缓存

计算机中 DNS 记录在本地有两种缓存方式:浏览器缓存和操作系统缓存。

  1. 浏览器缓存:浏览器在获取网站域名的实际 IP 地址后会对其进行缓存,减少网络请求的损耗。每种浏览器都有一个固定的 DNS 缓存时间,如 Chrome 的过期时间是 1 分钟,在这个期限内不会重新请求 DNS
  2. 操作系统缓存:操作系统的缓存其实是用户自己配置的 hosts 文件。比如 Windows10 下的 hosts 文件存放在 C:\Windows\System32\drivers\etc\hosts

查询方式

具体 DNS 查询的方式有两种:

  • 递归查询
  • 迭代查询

顾名思义,递归查询就是客户端请求服务器1,则服务器1不知道就会问服务器2,一直问到有服务器知道。然后,一层一层地传递下去。服务器2拿到结果,返回服务器1,服务器1拿到,返回客户端。

迭代查询客户端是问服务器1,服务器1说不知道,但说服务器2可能知道。然后客户端又问服务器2,服务器2说不知道,但说服务器3可能知道。一直是又客户端问。

域名解析过程

将查询缓存和DNS请求过程结合就是域名解析。具体过程如下

  1. 查缓存:分别查询 浏览器缓存 –> 操作系统缓存 –> hosts文件
  2. 缓存没查到,执行DNS查询。然后递归查询本地服务器,由本地服务器(本地服务器通常是网络服务商提供)执行查询。
  3. 本地服务器迭代查询(注意:本地域名服务器和其他域名服务器之间的查询方式是迭代查询,防止其他服务器压力过大)
    • 首先本地域名服务器向根域名服务器发起请求,根域名服务器是最高层次的,它并不会直接指明这个域名对应的 IP 地址,而是返回顶级域名服务器的地址,也就是说给本地域名服务器指明一条道路,让他去这里寻找答案
    • 本地域名服务器拿到这个顶级域名服务器的地址后,就向其发起请求,获取权限域名服务器的地址
    • 本地域名服务器根据权限域名服务器的地址向其发起请求,最终得到该域名对应的 IP 地址
  4. 设置缓存:浏览器缓存 –> 操作系统缓存 –> hosts文件

用TCP还是UDP

DNS一般是用UDP来传输,但特殊情况下会用到TCP。

DNS 不仅存在域名解析的过程,还有区域传输的过程,而在进行区域传输的时候 DNS 会强制使用 TCP 协议。

什么是区域传输?

这就不得不提一下主域名服务器和辅助域名服务器

设置域名服务器时,服务器管理员可以选择将域名服务器指定为主服务器还是辅助服务器(也称为从服务器)。

主域名服务器负责维护一个区域的所有域名信息,是特定的所有信息的权威信息源,数据可以修改。主服务器直接从本地文件获取此信息。只能在主服务器上更改区域的 DNS 记录,然后主服务器才能更新辅助服务器。

当主域名服务器出现故障、关闭或负载过重时,辅助域名服务器作为主域名服务器的备份提供域名解析服务。辅助域名服务器中的区域文件中的数据是从主域名服务器中复制过来的,无法自行修改。这个复制过程就是区域传输

其实就是主从的概念,各位应该也都比较熟悉了。主域名服务器用来写,辅助域名服务器用来读,提供负载均衡的能力,缓解主域名服务器的压力

总结

  1. DNS 在设计之初就在区域传输中引入了 TCP 协议,在查询中使用 UDP 协议;
  2. 当 DNS 超过了 512 字节的限制,我们第一次在 DNS 协议中明确了『当 DNS 查询被截断时,应该使用 TCP 协议进行重试』这一规范;
  3. 随后引入的 EDNS 机制允许我们使用 UDP 最多传输 4096 字节的数据,但是由于 MTU 的限制导致的数据分片以及丢失,使得这一特性不够可靠;
  4. 在最近的几年,我们重新规定了 DNS 应该同时支持 UDP 和 TCP 协议,TCP 协议也不再只是重试时的选择;

NAT

IPv4 的地址是非常紧缺的,可以通过无分类地址来减缓 IPv4 地址耗尽的速度,但是互联网的用户增速是非常惊人的,所以 IPv4 地址依然有被耗尽的危险。

于是,提出了一种网络地址转换 NAT 的方法,再次缓解了 IPv4 地址耗尽的问题。

简单的来说 NAT 就是同个公司、家庭、教室内的主机对外部通信时,把私有 IP 地址转换成公有 IP 地址。

但是站在NAT路由器的角度来说,N个私有IP对应了N个公有IP,由于是一一对应,问题还是没有得到解决。

普通的 NAT 转换没什么意义。

由于绝大多数的网络应用都是使用传输层协议 TCP 或 UDP 来传输数据的。

因此,可以把 IP 地址 + 端口号一起进行转换。

这样,就用一个全球 IP 地址就可以了,这种转换技术就叫网络地址与端口转换 NAPT。

转换表在 NAT 路由器上自动生成。例如,在 TCP 的情况下,建立 TCP 连接首次握手时的 SYN 包一经发出,就会生成这个表。而后又随着收到关闭连接时发出 FIN 包的确认应答从表中被删除。

NAT 的缺点

肯定没有十全十美的方案。

由于 NAT/NAPT 都依赖于自己的转换表,因此会有以下的问题:

  • 外部无法主动与 NAT 内部服务器建立连接,因为 NAPT 转换表没有转换记录。
  • 转换表的生成与转换操作都会产生性能开销。
  • 通信过程中,如果 NAT 路由器重启了,所有的 TCP 连接都将被重置。

如何解决 NAT 潜在的问题呢?

解决的方法主要有两种方法。

第一种就是改用 IPv6 : 解决IP地址不够用的问题。

IPv6 可用范围非常大,以至于每台设备都可以配置一个公有 IP 地址,就不搞那么多花里胡哨的地址转换了,但是 IPv6 普及速度还需要一些时间。

第二种 NAT 穿透技术:减小NAT路由器的压力,均摊到每个设备

NAT 穿越技术拥有这样的功能,它能够让网络应用程序主动发现自己位于 NAT 设备之后,并且会主动获得 NAT 设备的公有 IP,并为自己建立端口映射条目,注意这些都是 NAT设备后的应用程序自动完成的。

也就是说,在 NAT 穿透技术中,NAT设备后的应用程序处于主动地位,它已经明确地知道 NAT 设备要修改它外发的数据包,于是它主动配合 NAT 设备的操作,主动地建立好映射,这样就不像以前由 NAT 设备来建立映射了。

说人话,就是客户端主动从 NAT 设备获取公有 IP 地址,然后自己建立端口映射条目,然后用这个条目对外通信,就不需要 NAT 设备来进行转换了。

IGMP

ICMP(Internet Group Management Protocol)是因特网组管理协议。

ICMP 跟 IGMP 是一点关系都没有的。

在前面我们知道了组播地址,也就是 D 类地址,既然是组播,那就说明是只有一组的主机能收到数据包,不在一组的主机不能收到数组包,怎么管理是否是在一组呢?那么,就需要 IGMP 协议了。

组播地址一般是用于udp协议,机器发送UDP组播数据时,目标地址填的是组播地址,那么在组播组内的机器都能收到数据包。

TCP和UDP

TCP和UDP内容太多,本文不展开。

参考


Protocol
https://messenger1th.github.io/2024/07/24/Internet/Protocol/
作者
Epoch
发布于
2024年7月24日
许可协议