Linux内核网络结构，和收发数据基本流程

不管是大型虚拟化云网络，还是嵌入式物联网系统，Linux网络都扮演着重要的角色。借用一句话说，如果说网络是信息系统的基石，那么Linux网络系统就是基石中的钢筋。它经过几十年的发展，它千锤百炼，几乎包含了市面上所有的网络通讯功能，要想一下子把学透是不容易的，只能顺着代码脉络看着前辈们写的文章，边分析边总结吧。先来看一下整体结构：

1. 网络基本结构

Linux网络基本结构我把它分成几个层次，每个层次只是一个逻辑上的概念，并没有严格的定义，只是为了理解上的方便，而且很多模块的代码都是交织混用的，要统一来划分也不容易的。况且，通讯技术不断向前发展，今天定义出一套框架，明天说不定就有新的技术颠覆了，所以只能顺着源码路径，大致的分块来分析。

网络框架

Linux网络框架在我看来是一个特别扭曲的部分，一方面要兼容Linux中“一切皆是文件”的概念，另一方面又引入套接字的逻辑，后来又为虚拟化设计了名字空间，及虚拟网桥等模块，总的来看就像一大杂烩，给用户提供各种复杂的功能。大体上，Linux按协议族来管理各种网络，不同的协议族决定了不同的网络地址类型。而框架部分就是把各种协议族都有机的融合起来，使其能统一在套接字接口下来使用。

网络协议

Linux实现了大部分的网络协议，框架代码按协议族(protocol family)的方式来管理，各种协议族又实现了各自许多协议，常见的协议族有IPv4、IPv6、Bluetooth等，而我们常说的TCP/UDP是在IPv4或IPv6协议族下面实现的。

设备框架

软件总要靠硬件来承载运行，网络程序更是要依赖各式各样的网络适配器来通讯。Linux定义了一套完备的设备模型承上启下，上承内核完成协议通讯，下启设备收发数据。

设备驱动

网卡要在Linux中正确的运行，就要实现设备框架下的各种接口。所幸内核中包含了大量的网卡驱动，一个新的设备要加入进来，很容易从相似的驱动中找到参考代码。

外设接口

每种网卡总依赖某种外设接口来和CPU通讯，比如PCI、USB等。这类接口同样需要驱动，但Linux都实现的大部分（即使不是全部）外设接口，使用起来特别方便。

2. socket的内核对象

我们的程序要用socket来使用各种网络功能，但可能很少人知道socket的内核层对象究竟是怎么样工作的。下面我们来看一下socket在内核层中更详细的信息，先看一下socket函数原型 int socket(int domain, int type, int protocol); 此函数创建一个socket对象并初始化，通常是第一个调用的网络函数。 成功时，返回非负数的socket描述符；失败是返回-1。socket描述符其实等于一个文件描述符，调用socket()函数时，内核将创建立一个socket对象，然后把它映射为一个文件描述符返回用户空间，以体现“一切皆是文件”的思想，实际上一个socket意味着为一个socket数据结构所管理的对象和所分配的存储空间。

socket函数的三个参数已经包含了在内核实现中具体的功能信息，每一个参数在内核中都有一个对应的结构体与之联系，就算扩展新的网络协议，只需实现新的实例即可。所以了解一下socket对应的对象对扩展新的或理解现有网络类型很有帮组。

domain

指明socket使用的协议族，常用的协议族有，AF_INET、AF_INET6、AF_LOCAL（或称AF_UNIX，Unix域socket）、AF_ROUTE等等。协议族决定了socket的地址类型，在通信中必须采用对应的地址，在内核中每一种协议族用一个struct net_proto_family对象与之对应，各种协议族实现各自的create接口，用以创建不同的socket。比如inet_family_ops的inet_create函数就是实现创建IPv4的socket的函数。

type

指定socket的类型，在IPv4中，SOCK_STREAM表示使用TCP的socket；SOCK_DGRAM表示UDP的socket；SOCK_RAW表示原始的socket，可以使用IP或ICMP数据包直接操作。在socket类型中，内核用struct proto_ops对象来代表它，比如inet_dgram_ops的inet_sendmsg函数就是实现sendmsg接口的。

protocol

这个参数当然就是指具体的协议了，调用的时候可以赋值0让系统自动选择，也可以特别的指定它，比如，17就的代表UDP协议。要看Linux支持多少种协议，可以调用系统API函数getprotoent()获得列表信息。内核中，具体的协议就是要实现struct proto定义的各种接口，比如UDP协议的udp_sendmsg函数就实现了发送UDP数据包的功能。

3．发送数据包基本流程

一个数据包从应用程序发出到网卡出去要经历什么样的旅程呢？从宏观一点的角度来看有利于我们理解Linux内核的各种子模块的层次结构。现在，我们用UDP来做一个简单的流程分析：

创建socket

socket是内核统一对外的网络描述符，使用之前必须先创建它，内核中每个协议族都有自己的实现方式，inet_create函数就是IPv4创建socket的方法

//net/ipv4/af_inet.c
static int inet_create(struct net *net, struct socket *sock, int protocol,
         int kern)
{
 struct sock *sk;
 struct inet_protosw *answer;
 struct inet_sock *inet;
 struct proto *answer_prot;
 unsigned char answer_flags;
 int try_loading_module = 0;
 int err;

 if (protocol < 0 || protocol >= IPPROTO_MAX)
  return -EINVAL;

 sock->state = SS_UNCONNECTED;

 /* Look for the requested type/protocol pair. */
lookup_protocol:
 err = -ESOCKTNOSUPPORT;
 rcu_read_lock();
 list_for_each_entry_rcu(answer, &inetsw[sock->type], list) {

  err = 0;
  /* Check the non-wild match. */
  if (protocol == answer->protocol) {
   if (protocol != IPPROTO_IP)
    break;
  } else {
   /* Check for the two wild cases. */
   if (IPPROTO_IP == protocol) {
    protocol = answer->protocol;
    break;
   }
   if (IPPROTO_IP == answer->protocol)
    break;
  }
  err = -EPROTONOSUPPORT;
 }

 if (unlikely(err)) {
  if (try_loading_module < 2) {
   rcu_read_unlock();
   /*
    * Be more specific, e.g. net-pf-2-proto-132-type-1
    * (net-pf-PF_INET-proto-IPPROTO_SCTP-type-SOCK_STREAM)
    */
   if (++try_loading_module == 1)
    request_module("net-pf-%d-proto-%d-type-%d",
            PF_INET, protocol, sock->type);
   /*
    * Fall back to generic, e.g. net-pf-2-proto-132
    * (net-pf-PF_INET-proto-IPPROTO_SCTP)
    */
   else
    request_module("net-pf-%d-proto-%d",
            PF_INET, protocol);
   goto lookup_protocol;
  } else
   goto out_rcu_unlock;
 }

 err = -EPERM;
 if (sock->type == SOCK_RAW && !kern &&
     !ns_capable(net->user_ns, CAP_NET_RAW))
  goto out_rcu_unlock;

 sock->ops = answer->ops;
 answer_prot = answer->prot;
 answer_flags = answer->flags;
 rcu_read_unlock();

 WARN_ON(!answer_prot->slab);

 err = -ENOBUFS;
 sk = sk_alloc(net, PF_INET, GFP_KERNEL, answer_prot, kern);
 if (!sk)
  goto out;

 err = 0;
 if (INET_PROTOSW_REUSE & answer_flags)
  sk->sk_reuse = SK_CAN_REUSE;

 inet = inet_sk(sk);
 inet->is_icsk = (INET_PROTOSW_ICSK & answer_flags) != 0;

 inet->nodefrag = 0;

 if (SOCK_RAW == sock->type) {
  inet->inet_num = protocol;
  if (IPPROTO_RAW == protocol)
   inet->hdrincl = 1;
 }

 if (net->ipv4.sysctl_ip_no_pmtu_disc)
  inet->pmtudisc = IP_PMTUDISC_DONT;
 else
  inet->pmtudisc = IP_PMTUDISC_WANT;

 inet->inet_id = 0;

 sock_init_data(sock, sk);

 sk->sk_destruct    = inet_sock_destruct;
 sk->sk_protocol    = protocol;
 sk->sk_backlog_rcv = sk->sk_prot->backlog_rcv;

 inet->uc_ttl = -1;
 inet->mc_loop = 1;
 inet->mc_ttl = 1;
 inet->mc_all = 1;
 inet->mc_index = 0;
 inet->mc_list = NULL;
 inet->rcv_tos = 0;

 sk_refcnt_debug_inc(sk);

 if (inet->inet_num) {
  /* It assumes that any protocol which allows
   * the user to assign a number at socket
   * creation time automatically
   * shares.
   */
  inet->inet_sport = htons(inet->inet_num);
  /* Add to protocol hash chains. */
  err = sk->sk_prot->hash(sk);
  if (err) {
   sk_common_release(sk);
   goto out;
  }
 }

 if (sk->sk_prot->init) {
  err = sk->sk_prot->init(sk);
  if (err) {
   sk_common_release(sk);
   goto out;
  }
 }

 if (!kern) {
  err = BPF_CGROUP_RUN_PROG_INET_SOCK(sk);
  if (err) {
   sk_common_release(sk);
   goto out;
  }
 }
out:
 return err;
out_rcu_unlock:
 rcu_read_unlock();
 goto