参考：1. 深入理解Linux网络技术内幕 PartIII
2. Essential Linux Device Driver Chap15
3. Linux 内核源码剖析——TCP/IP 实现
5. rtl8139too.c 2010.4 修订
6. Linux 内核 2.6.33
7. google
当你在写一个网卡驱动的时候回接触到3个重要的数据结构：
1. struct sk_buff sk_buff 结构贯穿整个协议栈
2. struct net_device 该结构定义了网卡驱动和协议栈之间的接口
3. I/O 总线相关的结构，比如 struct pci_dev
在内核中sk_buff表示一个网络数据包，它是一个双向链表，而链表头就是sk_buff_head,在老的内核里面sk_buff会有一个list域直接指向sk_buff_head也就是链表头，现在在2.6.33里面这个域已经被删除了。而sk_buff的内存布局可以分作3个段，第一个就是sk_buff自身，第二个是linear-data buff,第三个是paged-data buff（也就是skb_shared_info）。
每个SKB必须能被整个链表头部快速找到。为了满足这个需求，在第一个SKB节点前面会插入另一个辅助的sk_buff_head结构的头结点，可以认为该sk_buff_head结构就是SKB链表的头结点。
struct sk_buff_head { /* These two members must be first. */ struct sk_buff *next; struct sk_buff *prev; __u32 qlen; spinlock_t lock; };
下图是SKB链表：
下面来看一下sk_buff 结构：
struct sk_buff { /* These two members must be first. */ struct sk_buff *next; struct sk_buff *prev; //表示从属于那个socket，主要是被4层用到。 struct sock *sk; //表示这个skb被接收的时间。 ktime_t tstamp; //这个表示一个网络设备，当skb为输出时它表示skb将要输出的设备，当接收时，它表示输入设备。要注意，这个设备有可能会是虚拟设备(在3层以上看来) struct net_device *dev; ///这里其实应该是dst_entry类型，不知道为什么内核要改为ul。这个域主要用于路由子系统。这个数据结构保存了一些路由相关信息 unsigned long _skb_dst; #ifdef CONFIG_XFRM struct sec_path *sp; #endif ///这个域很重要，我们下面会详细说明。这里只需要知道这个域是保存每层的控制信息的就够了。 char cb[48]; ///这个长度表示当前的skb中的数据的长度，这个长度即包括buf中的数据也包括切片的数据，也就是保存在skb_shared_info中的数据。这个值是会随着从一层到另一层而改变的。下面我们会对比这几个长度的。 unsigned int len, ///这个长度只表示切片数据的长度，也就是skb_shared_info中的长度。 data_len; ///这个长度表示mac头的长度(2层的头的长度) __u16 mac_len, ///这个主要用于clone的时候，它表示clone的skb的头的长度。 hdr_len; ///接下来是校验相关的域。 union { __wsum csum; struct { __u16 csum_start; __u16 csum_offset; }; }; ///优先级，主要用于QOS。 __u32 priority; kmemcheck_bitfield_begin(flags1); ///接下来是一些标志位。 //首先是是否可以本地切片的标志。 __u8 local_df:1, ///为1说明头可能被clone。 cloned:1, ///这个表示校验相关的一个标记,表示硬件驱动是否为我们已经进行了校验(前面的blog有介绍) ip_summed:2, ///这个域如果为1,则说明这个skb的头域指针已经分配完毕，因此这个时候计算头的长度只需要head和data的差就可以了。 nohdr:1, ///这个域不太理解什么意思。 nfctinfo:3; ///pkt_type主要是表示数据包的类型，比如多播，单播，回环等等。 __u8 pkt_type:3, ///这个域是一个clone标记。主要是在fast clone中被设置，我们后面讲到fast clone时会详细介绍这个域。 fclone:2, ///ipvs拥有的域。 ipvs_property:1, ///这个域应该是udp使用的一个域。表示只是查看数据。 peeked:1, ///netfilter使用的域。是一个trace 标记 nf_trace:1; ///这个表示L3层的协议。比如IP,IPV6等等。 __be16 protocol:16; kmemcheck_bitfield_end(flags1); ///skb的析构函数，一般都是设置为sock_rfree或者sock_wfree. void (*destructor)(struct sk_buff *skb); ///netfilter相关的域。 #if defined(CONFIG_NF_CONNTRACK) || defined(CONFIG_NF_CONNTRACK_MODULE) struct nf_conntrack *nfct; struct sk_buff *nfct_reasm; #endif #ifdef CONFIG_BRIDGE_NETFILTER struct nf_bridge_info *nf_bridge; #endif ///接收设备的index。 int iif; ///流量控制的相关域。 #ifdef CONFIG_NET_SCHED __u16 tc_index; /* traffic control index */ #ifdef CONFIG_NET_CLS_ACT __u16 tc_verd; /* traffic control verdict */ #endif #endif kmemcheck_bitfield_begin(flags2); ///多队列设备的映射，也就是说映射到那个队列。 __u16 queue_mapping:16; #ifdef CONFIG_IPV6_NDISC_NODETYPE __u8 ndisc_nodetype:2; #endif kmemcheck_bitfield_end(flags2); /* 0/14 bit hole */ #ifdef CONFIG_NET_DMA dma_cookie_t dma_cookie; #endif #ifdef CONFIG_NETWORK_SECMARK __u32 secmark; #endif ///skb的标记。 __u32 mark; ///vlan的控制tag。 __u16 vlan_tci; ///传输层的头 sk_buff_data_t transport_header; ///网络层的头 sk_buff_data_t network_header; ///链路层的头。 sk_buff_data_t mac_header; ///接下来就是几个操作skb数据的指针。下面会详细介绍。 sk_buff_data_t tail; sk_buff_data_t end; unsigned char *head, *data; ///这个表示整个skb的大小，包括skb本身，以及数据。 unsigned int truesize; ///skb的引用计数 atomic_t users; };
sk_buff 为Linux网络层提供了高效的缓冲和流控机制。sk_buff内部包含了缓冲区中报文的信息，这些数据域，主要是下面几个：
sk_buff->head sk_buff->tail sk_buff->end
struct sk_buff 的成员 head 指向一个已分配的空间的头部，该空间用于承载网络数据，end 指向该空间的尾部，这两个成员指针从空间创建之后，就不能被修改。data 指向分配空间中数据的头部，tail 指向数据的尾部，这两个值随着网络数据在各层之间的传递、修改，会被不断改动。所以，这四个指针指向共同的一块内存区域的不同位置，该内存区域由__alloc_skb 在创建缓冲区时创建。注意：这些都是char * 类型的指针，指向特定的内存块。
下面这张图表示了buffer从tcp层到链路层的过程中len，head，data，tail以及end的变化，通过这个图我们可以非常清晰的了解到这几个域的区别。
可以很清楚的看到head指针为分配的buffer的起始位置，end为结束位置，而data为当前数据的起始位置，tail为当前数据的结束位置。len就是数据区的长度。
然后来看transport_header，network_header以及mac_header的变化，这几个指针都是随着数据包到达不同的层次才会有对应的值，我们来看下面的图，这个图表示了当从2层到达3层对应的指针的变化。
这里可以看到data指针会由于数据包到了三层，而跳过2层的头。这里我们就可以得到data起始真正指的是本层的头以及数据的起始位置。
sk_buff 结构中有三个跟长度相关的量：len 、data_len 、truesize
其中len 是指数据包全部数据的长度，包括 data 指向的数据和 end 后面的分片的数据的总长，而 data_len
只包括分片的数据的长度。而 truesize 的最终值是 len+sizeof(struct sk_buff)。
data 这个指针指向的位置是可变的，它有可能随着报文所处的层次而变动。当接收报文时，从网卡驱动开始，通过协议栈层层往上传送数据报，通过增加 skb->data 的值，来逐步剥离协议首部；而要发送报文时，各协议创建 sk_buff{}，在经过各下层协议时，通过减少 skb->data的值来增加协议首部。
我们来看前面没有解释的那些域。
我们知道tcp层的控制信息保存在tcp_skb_cb中，因此来看内核提供的宏来存取这个数据结构：
#define TCP_SKB_CB(__skb) ((struct tcp_skb_cb *)&((__skb)->cb[0]))
在ip层的话，我们可能会用cb来存取切片好的帧。
#define FRAG_CB(skb) ((struct ipfrag_skb_cb *)((skb)->cb))